[发明专利]一种基于注意力机制的图像描述生成方法

权利要求书

1.一种基于注意力机制的图像描述生成方法，其特征在于，包括以下步骤：

步骤1，从数据集的标注语句中提取词语构建词汇表；

步骤2，采用ResNet101模型作为CNN初始模型，并进行ResNet101的参数预训练，使用预训练的ResNet101单独提取图像的全局特征，然后使用预训练的ResNet101替换Faster R-CNN算法中的CNN提取每张图片的若干个对象区域特征，然后将对象区域两两组成关系区域提取关系特征；

步骤3，将关系特征和对象区域特征进行特征融合，得到包含对象间关系的对象区域特征；

步骤4，将上一步得到的包含对象间关系的对象区域特征输入双层LSTM语言模型中得到输出结果，即对图像生成的自然语言描述；

步骤5，训练一个映射空间模型衡量的图像与描述句子之间的相似度，使用CIDEr分数和相似度作为奖励项，使用强化学习进一步优化双层LSTM语言模型。

2.根据权利要求1所述的一种基于注意力机制的图像描述生成方法，其特征在于：步骤1中构建词汇表的方式为，统计MS COCO数据集文字描述中每个单词出现的次数，只选取出现次数大于五次的单词列入词汇表中，其中MS COCO数据集词汇表包含9487个单词。

3.根据权利要求1所述的一种基于注意力机制的图像描述生成方法，其特征在于：步骤2中使用Faster R-CNN算法提取图像的对象区域特征，训练时对于一个图像的损失函数定义如下：

其中，参数λ用来平衡N_cls和N_reg这两个标准化参数；将N_cls的大小设置为mini-batch的大小，将N_reg设置为anchor的总量；i表示训练时一个mini-batch中anchor的索引号，p_i是索引号为i的anchor为对象区域的预测概率；如果anchor为正样本，则p_i^*等于1，若anchor为负样本，则p_i^*等于0；t_i是表示生成的包围框的4个坐标参数的向量，t_i^*是与正样本的anchor相应的ground truth的包围框的坐标向量；

L_cls是对象的分类损失函数：

L_cls(p_i,p_i^*)＝-log[p_i^*p_i+(1-p_i^*)(1-p_i)]

L_reg表示边界框回归损失函数：

L_reg(t_i,t_i^*)＝R(t_i-t_i^*)

其中R为smooth L1损失函数: