[发明专利]针对视觉和语言的跨模态处理在审
| 申请号： | 202110247301.4 | 申请日： | 2021-03-05 |
| 公开（公告）号： | CN115017911A | 公开（公告）日： | 2022-09-06 |
| 发明（设计）人： | 刘蓓;傅建龙 | 申请（专利权）人： | 微软技术许可有限责任公司 |
| 主分类号： | G06F40/30 | 分类号： | G06F40/30;G06V10/774;G06V10/82;G06N3/04;G06N3/08 |
| 代理公司： | 北京世辉律师事务所 16093 | 代理人： | 李峥宇 |
| 地址： | 美国华*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 根据本公开的实现，提出了一种用于跨模态处理的方案。在该方案中，根据目标模型中的视觉特征提取子模型，提取训练图像的一组视觉特征。每个视觉特征对应于训练图像中的一个像素块。基于视觉语义词典，确定与该组视觉特征对应的一组视觉语义特征。根据目标模型中的文本特征提取子模型，提取与训练图像对应的训练文本的一组文本特征。每个文本特征对应于训练文本中的至少一个词。基于该组视觉语义特征和该组文本特征，训练目标模型以用于确定输入文本和输入图像之间的关联信息。以此方式，可以促进经训练的目标模型在各种视觉‑语言任务中准确且快速地提供结果。 | ||
| 搜索关键词： | 针对 视觉 语言 跨模态 处理 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于微软技术许可有限责任公司，未经微软技术许可有限责任公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110247301.4/，转载请声明来源钻瓜专利网。
