[发明专利]一种基于注意力机制的图像描述生成方法

说明书

本发明提供一种基于注意力机制的图像描述生成方法，首先利用图像中的显著对象信息以及对象间关系的信息使用注意力机制生成更准确的图像描述，然后使用双层语言生成模型生成更细粒度的图像描述，最后使用强化学习优化整个模型。本发明有如下优点：关系特征与对象特征的融合能够丰富图像信息；双层语言模型能够生成更细粒度的图像描述；使用强化学习进一步优化训练模型能够缓解曝光偏差问题。

技术领域

本发明属于计算机视觉和自然语言处理领域，涉及一种图像语言描述生成方法，尤其是一种基于注意力机制的图像描述生成方法。

背景技术

在生活中有很多情况下需要把图像内容转化为文字描述，例如社交软件中在网络状态不良的情况下自动生成图像的文字摘要、帮助视觉障碍人士理解图像内容。现有的图像描述方法主要是基于深度学习的方法，使用卷积神经网络作为图像处理模型提取图像特征，将图像特征输入循环神经网络作为语言生成模型生成图像描述语言。但是模型通常使用全局或者对象级的图像特征，使用这样的特征难以关注到图像中显著的目标对象并且会丢失很多图像中重要的信息，很难充分的将图像中的重要的视觉语义关系信息应用到模型中。并且现有的模型多是一个单步前向的进程，在模型生成下一个单词的时候，它只能利用之前已经生成的单词，这样如果在生成过程中生成一个错误的单词后面就会造成错误的累计。另一方面，现有模型在训练时使模型生成的序列联合概率最大化，这样使交叉熵损失最小来训练模型，通过反向传播最大限度地提高生成的参考单词的联合概率，这样模型能学到的是句子中单词的概率分布，和通常在评判图像描述模型生成句子的质量的时候使用的自动评价指标不同，这些评价指标是不可微的所以不能直接用作损失函数，这种损失函数与评价指标的不一致性使模型无法得到充分的优化。

发明内容

本发明的目的是克服上述现有方法存在的缺陷，提供了一种基于注意力机制的图像描述生成方法，利用图像中的显著对象信息以及对象间关系的信息使用注意力机制生成更准确的图像描述，然后使用双层语言生成模型生成更细粒度的图像描述，最后使用强化学习优化整个模型。

本发明的上述技术问题主要是通过以下技术方案得以解决的，一种基于注意力机制的图像描述生成方法，包括以下步骤：

步骤1，从数据集的标注语句中提取词语构建词汇表；

步骤2，采用ResNet101模型作为CNN初始模型，并进行ResNet101的参数预训练，使用预训练的ResNet101单独提取图像的全局特征，然后使用预训练的ResNet101替换FasterR-CNN算法中的CNN提取每张图片的若干个对象区域特征，然后将对象区域两两组成关系区域提取关系特征；

步骤3，将关系特征和对象区域特征进行特征融合，得到包含对象间关系的对象区域特征；

步骤4，将上一步得到的包含对象间关系的对象区域特征输入双层LSTM语言模型中得到输出结果，即对图像生成的自然语言描述；

步骤5，训练一个映射空间模型衡量的图像与描述句子之间的相似度，使用CIDEr分数和相似度作为奖励项，使用强化学习进一步优化双层LSTM语言模型。

进一步的，步骤1中构建词汇表的方式为，统计MS COCO数据集文字描述中每个单词出现的次数，只选取出现次数大于五次的单词列入词汇表中，其中MS COCO数据集词汇表包含9487个单词。

进一步的，步骤2中使用Faster R-CNN算法提取图像的对象区域特征，训练时对于一个图像的损失函数定义如下：