[发明专利]基于迭代学习的图像描述重生成系统及方法

摘要

本发明为基于迭代学习的图像描述重生成系统及方法，包括：深度卷积网络、第一轮循环神经网络、知识抽取模块以及第二轮循环神经网络。深度卷积网络对图像进行细粒度的编码。第一轮循环神经网络为图像生成初步的句子描述以及视觉注意力图序列。知识抽取模块根据注意力图，利用显著性区域检测算法来生成显著性区域掩码。此外，知识抽取模块从初步生成的句子描述中提取名词序列作为图像的主题词。第二轮循环神经网络通过三种机制将显著性区域掩码和主题词融入第二轮训练，即基于显著性区域掩码的全局图像视觉表示精炼，基于主题词的多模态图像表示优化以及基于主题词的多模态注意力机制。基于上述机制，第二轮循环神经网络可生成精炼的图像描述。

主权项

1.一种基于迭代学习的图像描述重生成系统，其组件包括：深度卷积网络、第一轮循环神经网络、知识抽取模块以及第二轮循环神经网络；其中，所述深度卷积网络用于对图像进行细粒度的编码，即计算图像区域的特征向量表示，并将图像的特征向量表示输出到第一轮循环神经网络和第二轮循环神经网络；所述第一轮循环神经网络利用均匀的区域权重对图像的区域特征向量进行加权平均，得到粗糙的全局图像视觉表示，然后生成初步的图像描述以及与句子中每个词语对应的视觉注意力图，并将这些信息输出到知识抽取模块；所述知识抽取模块根据视觉注意力图，利用基于滑动窗口的显著性区域检测算法来识别图像的显著性区域，并生成显著性区域掩码；此外，所述知识抽取模块根据词性从初步生成的句子描述中提取名词序列，作为图像的主题词；所述知识抽取模块将显著性区域掩码和主题词作为图像的额外知识输出到第二轮循环神经网络；所述第二轮循环神经网络通过三种机制将显著性区域掩码和主题词融入到第二轮训练当中，即利用显著性区域掩码来计算精炼的全局图像视觉表示，利用主题词来计算初始时刻多模态图像表示以及利用主题词来执行多模态注意力机制；基于上述三种机制，第二轮循环神经网络最终生成精炼的图像描述。