[发明专利]基于视觉显著性与语义属性跨模态图像自然语言描述方法有效
| 申请号： | 201710560024.6 | 申请日： | 2017-07-11 |
| 公开（公告）号： | CN107688821B | 公开（公告）日： | 2021-08-06 |
| 发明（设计）人： | 田春娜;王蔚;高新波;李明郎君;王秀美;张相南;刘恒;袁瑾 | 申请（专利权）人： | 西安电子科技大学 |
| 主分类号： | G06K9/62 | 分类号： | G06K9/62;G06N3/08 |
| 代理公司： | 西安长和专利代理有限公司 61227 | 代理人： | 黄伟洪 |
| 地址： | 710071 陕西省*** | 国省代码： | 陕西;61 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明属于计算机视觉与自然语言处理技术领域，公开了一种基于视觉显著性与语义属性跨模态图像自然语言描述方法，采用卷积神经网络提取图像各区域的多尺度深度视觉特征；利用预训练的显著性模型，回归出图像显著性图对原图像进行加权；建立预定义字典作为语义属性类别，并对视觉显著性图像进行语义属性检测；采用多示例学习计算语义属性；利用语义属性对图像特征加权；采用长短期记忆网络对基于视觉显著性的语义属性特征进行解码，生成图像描述。本发明具有准确度高的优点。可用于复杂场景下的图像检索及多目标图像语义理解等。 | ||
| 搜索关键词： | 基于 视觉 显著 语义 属性 跨模态 图像 自然语言 描述 方法 | ||
【主权项】：
一种基于视觉显著性与语义属性跨模态图像自然语言描述方法，其特征在于，所述基于视觉显著性与语义属性跨模态图像自然语言描述方法包括：采用卷积神经网络提取图像各区域的多尺度深度视觉特征；利用预训练的显著性模型，回归出图像显著性图对原图像进行加权；建立预定义字典作为语义属性类别，并对检测视觉显著性图像进行语义属性；采用多示例学习计算语义属性；利用语义属性对图像特征加权；采用长短期记忆网络对基于视觉显著性的语义属性特征进行解码，生成图像描述。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于西安电子科技大学，未经西安电子科技大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710560024.6/，转载请声明来源钻瓜专利网。
