[发明专利]基于迭代学习的图像描述重生成系统及方法

权利要求书

1.一种基于迭代学习的图像描述重生成系统，其组件包括：深度卷积网络、第一轮循环神经网络、知识抽取模块以及第二轮循环神经网络；其中，所述深度卷积网络用于对图像进行细粒度的编码，即计算图像区域的特征向量表示，并将图像的特征向量表示输出到第一轮循环神经网络和第二轮循环神经网络；

所述第一轮循环神经网络利用均匀的区域权重对图像的区域特征向量进行加权平均，得到粗糙的全局图像视觉表示，然后生成初步的图像描述以及与句子中每个词语对应的视觉注意力图，并将这些信息输出到知识抽取模块；

所述知识抽取模块根据视觉注意力图，利用基于滑动窗口的显著性区域检测算法来识别图像的显著性区域，并生成显著性区域掩码；此外，所述知识抽取模块根据词性从初步生成的句子描述中提取名词序列，作为图像的主题词；所述知识抽取模块将显著性区域掩码和主题词作为图像的额外知识输出到第二轮循环神经网络；

所述第二轮循环神经网络通过三种机制将显著性区域掩码和主题词融入到第二轮训练当中，即利用显著性区域掩码来计算精炼的全局图像视觉表示，利用主题词来计算初始时刻多模态图像表示以及利用主题词来执行多模态注意力机制；基于上述三种机制，第二轮循环神经网络最终生成精炼的图像描述。

2.根据权利要求1所述的基于迭代学习的图像描述重生成系统，其特征在于，所述深度卷积网络将卷积层输出的特征图(feature map)作为图像的细粒度特征表示：

其中，v^*表示卷积层输出的原始特征图，即一个形状为n×n×D的实值张量；表示实数空间；n表示特征图的大小，即图像总共被分割成n²个区域，可见，图像的每个区域和对应的特征向量均可通过一组下标来定位；D表示每个区域特征向量v_i,j(1≤i,j≤n)的维度；ReLU表示线性整流函数(Rectified Linear Unit)。

3.根据权利要求1所述的基于迭代学习的图像描述重生成系统，其特征在于，所述第一轮循环神经网络采用带有视觉注意力机制(Visual Attention)的LSTM，即长短时记忆神经网络(Long Short-Term Memory Neural Network)来生成初步的图像描述Y＝(y₁,…,y_d)以及对应的视觉注意力图(Attention Map)序列(α¹,…,α^d)；其中，d表示句子的长度，y_t(1≤t≤d)表示LSTM在第t个时刻生成的词语，其对应的视觉注意力图为：

表示第一轮LSTM在第t个时刻对每个图像区域的关注程度。

4.根据权利要求1所述的基于迭代学习的图像描述重生成系统，其特征在于，所述知识抽取模块从第一轮循环神经网络输出的视觉注意力图中抽取有益的视觉显著性信息，即通过逐位置累加句子描述Y对应的视觉注意力图序列来得到全局的视觉注意力图，即：

α^c＝g(∑_qα^q),q∈{q₁,…,q_k},1≤q_i≤d,1≤i≤k，

其中，g是L₁归一化函数；α^c是一个在图像区域上的概率分布，表示每个区域对于最终生成的图像描述的重要性；知识抽取模块利用基于滑动窗口的显著性区域检测算法来检测α^c的局部特征，从而识别出视觉上显著的区域，并输出与注意力图尺度一样的显著性区域掩码M；在M中，1表示对应区域被认定为显著性区域，0表示对应区域为背景区域。

5.根据权利要求1所述的基于迭代学习的图像描述重生成系统，其特征在于，所述知识抽取模块从第一轮循环神经网络输出的图像句子描述中抽取有益的语义信息，即从第一轮学习到的图像描述中提取名词集合作为图像的主题词：

T＝{y_qi|y_qi∈Y,1≤q_i≤d,1≤i≤k}

其中，y_qi表示每个主题词的索引向量，该向量在词语所对应编号的维度上为1，在其他维度上为0。