[发明专利]一种协同门控循环融合LSTM图像标注方法

权利要求书

1.一种协同门控循环融合LSTM图像标注方法，其特征在于，包括如下步骤，

通过协同门控注意方法执行图像-文本匹配的多模态任务；

由生成注意权值的注意LSTM循环融合组成注意rLSTM，表示为rLSTM^a；

由生成单词的语言LSTM循环融合组成语言rLSTM，表示为rLSTM^l；循环融合LSTM的第一层是rLSTM^a，第二层是rLSTM^l，表示为rLSTM；

把协同门控注意SGA和循环融合LSTM整合在一起，形成rLSTM-SGA；

使用数据集对方法进行评论；

在“由生成注意权值的注意LSTM循环融合组成注意rLSTM”中，所述方法还包括，

在第一层上，rLSTM^a网络的隐藏状态计算公式如下：

其中，是rLSTM^a网络的输入矢量；是rLSTM^a网络前一时刻的隐藏状态；是t时刻rLSTM^a的第i次输出；LSTM^a代表注意力LSTM；rLSTM^a代表循环融合LSTM^a；P代表LSTM^a的个数；

在“由生成注意权值的注意LSTM循环融合组成注意rLSTM”中，所述方法还包括，

第一层rLSTM^a的输入由嵌入在当前时间步输入的词以及视觉矢量组成，其中I_v为Faster-RCNN提取的池化特征，是rLSTM^l前一个时间步的上下文矢量：

其中,E是单词的嵌入矩阵，w_t-1是前一个时间步rLSTM^l生成的单词，符号“[·]”代表矢量拼接操作；

在“由生成单词的语言LSTM循环融合组成语言rLSTM，表示为rLSTM^l”中，所述方法还包括，

在第二层上，rLSTM^l的隐藏状态计算公式如下：

其中，是rLSTM^l网络的输入矢量，是rLSTM^l网络前一时刻的隐藏状态，是t时刻rLSTM^l的第i次输出；LSTM^l代表语言LSTM；rLSTM^l代表循环融合LSTM^l；P代表LSTM^l的个数；

在“由生成单词的语言LSTM循环融合组成语言rLSTM，表示为rLSTM^l”中，所述方法还包括，

第二层rLSTM^l的输入矢量，记为定义如下：

其中，s_t表示协同门控注意SGA的输出，表示当前时刻rLSTM^a的隐藏状态，符号“[·]”代表矢量拼接操作；

在“把协同门控注意SGA和循环融合LSTM整合在一起，形成rLSTM-SGA”中，所述方法还包括，

rLSTM-SGA图像描述模型在t时刻输出单词的概率记为p(y_t∣y_1:t-1)，其计算公式定义为：

式中，softmax(·)代表归一化函数，W_p代表rLSTM^l隐藏状态的学习参数，代表rLSTM^l在t时刻的隐藏状态。

2.如权利要求1所述的协同门控循环融合LSTM图像标注方法，其特征在于，在“通过协同门控注意方法执行图像-文本匹配的多模态任务”中，所述方法还包括，

使用卷积神经网络模型提取空间语义信息；

使用Faster-RCNN提取显著区域信息；

将提取的空间语义信息和显著区域信息融合在一起，同时利用图像不同的区域信息和空间信息生成当前的描述文本。