[发明专利]一种多模态语义协同交互的图文联合命名实体识别方法在审
| 申请号： | 202211112121.6 | 申请日： | 2022-09-13 |
| 公开（公告）号： | CN115455970A | 公开（公告）日： | 2022-12-09 |
| 发明（设计）人： | 王海荣;钟维幸 | 申请（专利权）人： | 北方民族大学 |
| 主分类号： | G06F40/295 | 分类号： | G06F40/295;G06F16/953;G06V10/42;G06V10/82;G06N3/04;G06N3/08 |
| 代理公司： | 西安研创天下知识产权代理事务所(普通合伙) 61239 | 代理人： | 郭璐 |
| 地址： | 750021 宁夏回族*** | 国省代码： | 宁夏;64 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明针对现有命名实体识别方法主要聚焦于文本数据的实体识别，忽略了现存的大量图片、文本等多模态数据具有语义互补性，提出了一种多模态语义协同交互的图文联合命名实体识别方法，建立了多模态语义协同交互的图文联合命名实体模型(Image‑TextJointnamedentityrecognition，ITJNER)，在ITJNER中加入了图像描述作为额外特征丰富了多模态特征表示，用于过滤从图像特征中引入的噪声并以文本形式总结图像语义信息，还构建了多模态协同交互的多模态语义融合模型，用于加强多模态信息融合并减少图像信息的语义偏差。最后，在TWITTER‑2015和TWITTER‑2017数据集上进行实验，与AdaCAN、UMT、UMGF、Object‑AGBAN等方法相比，本发明的准确率、回召率、F1值分别提高了0.67％、0.95％、0.93％，在Twitter2015数据集上，召回率提高了0.19％。 | ||
| 搜索关键词： | 一种 多模态 语义 协同 交互 图文 联合 命名 实体 识别 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北方民族大学，未经北方民族大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202211112121.6/，转载请声明来源钻瓜专利网。
