[发明专利]基于图片和句子的多模态联合事件检测方法有效
| 申请号： | 202110660692.2 | 申请日： | 2021-06-15 |
| 公开（公告）号： | CN113535949B | 公开（公告）日： | 2022-09-13 |
| 发明（设计）人： | 张旻;曹祥彪;汤景凡;姜明 | 申请（专利权）人： | 杭州电子科技大学 |
| 主分类号： | G06F16/35 | 分类号： | G06F16/35;G06F16/55;G06K9/62 |
| 代理公司： | 杭州君度专利代理事务所(特殊普通合伙) 33240 | 代理人： | 朱月芬 |
| 地址： | 310018 浙*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于图片和句子的多模态联合事件检测方法，同时从图片和句子中识别事件。本发明一方面利用现有的单模态数据集分别学习图片和文本事件分类器；另一方面利用已有的图片与标题对训练图片句子匹配模块，找出多模态文章中语义相似度最高的图片和句子，从而获取图片实体和单词在公共空间的特征表示。这些特征有助于图片和文本事件分类器之间共享参数，得到共享事件分类器。最后，利用少量的多模态标注数据对模型进行测试，利用共享事件分类器分别获取图片和句子描述的事件及其类型。本发明从图片和句子中识别事件,利用视觉特征和文本特征的互补性，不仅提高了单模态事件分类的性能，而且可以发现文章中更完整的事件信息。 | ||
| 搜索关键词： | 基于 图片 句子 多模态 联合 事件 检测 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于杭州电子科技大学，未经杭州电子科技大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110660692.2/，转载请声明来源钻瓜专利网。
