[发明专利]一种融合多角度多模态的图像描述生成方法及系统有效
| 申请号： | 201910721397.6 | 申请日： | 2019-08-06 |
| 公开（公告）号： | CN110458282B | 公开（公告）日： | 2022-05-13 |
| 发明（设计）人： | 杨振宇;张姣 | 申请（专利权）人： | 齐鲁工业大学 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/08;G06V10/80;G06V10/82;G06F40/30;G06K9/62 |
| 代理公司： | 济南圣达知识产权代理有限公司 37221 | 代理人： | 黄海丽 |
| 地址： | 250353 山东*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种融合多角度多模态的图像描述生成方法及系统，所述方法包括以下步骤：接收待描述图像，提取所述图像的全局视觉特征和局部视觉特征并进行融合，得到融合视觉特征；采用单层长短期记忆网络，将融合视觉特征作为输入，得到第一句图像描述；根据第一句图像描述生成第一句语义向量；采用基于注意力的长短期记忆网络语言生成模型，将局部视觉特征和所述第一句语义向量作为输入，生成下一句图像描述句子，进而得到完整的图像描述。本发明融合视觉特征和文本语义特征两种模态，并结合注意力机制，实现了图像的多角度全面描述。 | ||
| 搜索关键词： | 一种 融合 角度 多模态 图像 描述 生成 方法 系统 | ||
【主权项】：
1.一种融合多角度多模态的图像描述生成方法，其特征在于，包括以下步骤：/n接收待描述图像，提取所述图像的全局视觉特征和局部视觉特征并进行融合，得到融合视觉特征；/n采用单层长短期记忆网络，将融合视觉特征作为输入，得到第一句图像描述；/n根据第一句图像描述生成第一句语义向量；/n采用基于注意力的长短期记忆网络语言生成模型，将局部视觉特征和所述第一句语义向量作为输入，生成下一句图像描述句子，进而得到完整的图像描述。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于齐鲁工业大学，未经齐鲁工业大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910721397.6/，转载请声明来源钻瓜专利网。
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
