[发明专利]基于深度神经网络对图像语义进行理解和问答的方法有效
| 申请号： | 201811535632.2 | 申请日： | 2018-12-14 |
| 公开（公告）号： | CN109740012B | 公开（公告）日： | 2023-08-25 |
| 发明（设计）人： | 唐金辉;胡俊 | 申请（专利权）人： | 南京理工大学 |
| 主分类号： | G06F16/583 | 分类号： | G06F16/583;G06F16/532;G06F16/332;G06F16/35;G06F40/30;G06F18/21;G06V10/82;G06N3/045;G06N3/0442;G06N3/0464;G06N3/047;G06N3/048;G06N5/022 |
| 代理公司： | 南京理工大学专利中心 32203 | 代理人： | 朱宝庆 |
| 地址： | 210094 *** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种基于深度神经网络对图像语义进行理解和问答的方法包括：根据已有图像数据集，使用带动态参数层的卷积神经网络提取给定图像特征信息，然后在知识库中对图像进行信息检索获取给定图像的外部知识；对检索到的外部知识使用Doc2Vec进行编码转换成固定大小的向量形式；将需要提出的问题和图像检索信息联合，作为输入放到神经网络的门控循环单元GRU中进行训练；把训练得到的候选权重通过hashing转换映射到卷积神经网络的动态参数层；在全连接层后添加一个分类层得到各种问答的答案，并将分类精度作为评价准则；基于多种实验基准，再使用WUPS评价准则进行评估，得到最终的图像问答结果。 | ||
| 搜索关键词： | 基于 深度 神经网络 图像 语义 进行 理解 问答 方法 | ||
【主权项】：
1.一种基于深度神经网络对图像语义进行理解和问答的方法，其特征在于，包括以下步骤：步骤1，根据已有图像数据集，使用带动态参数层的卷积神经网络提取给定图像特征信息，然后在知识库中对图像进行信息检索获取给定图像的外部知识；步骤2，对检索到的外部知识使用Doc2Vec进行编码转换成固定大小的向量形式；步骤3，将需要提出的问题和图像检索信息联合，作为输入放到神经网络的门控循环单元GRU中进行训练；步骤4，把训练得到的候选权重通过hashing转换映射到卷积神经网络的动态参数层；步骤5，在全连接层后添加一个分类层得到各种问答的答案，并将分类精度作为评价准则；步骤6，基于多种实验基准，再使用WUPS评价准则进行评估，得到最终的图像问答结果。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于南京理工大学，未经南京理工大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811535632.2/，转载请声明来源钻瓜专利网。
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
