[发明专利]一种协同门控循环融合LSTM图像标注方法

说明书

本发明涉及协同门控循环融合领域，具体涉及一种协同门控循环融合LSTM图像标注方法，通过协同门控注意方法执行图像‑文本匹配的多模态任务；由生成注意权值的注意LSTM循环融合组成注意rLSTM；由生成单词的语言LSTM循环融合组成语言rLSTM；把协同门控注意SGA和循环融合LSTM整合在一起，形成rLSTM‑SGA；使用数据集对方法进行评论，从而通过SGA方法不仅注意图像的显著区域特征，还可以注意图像的空间特征信息，rLSTM方法，它可以代替传统单一的LSTM单元生成机制，每一时刻通过循环多个相同的LSTM对同一输入进行融合建模，进而对同一语义获取不同的上下文信息，以此提高模型序列学习的能力，生成更加准确的描述语句，整合上述两种创新方法在MSCOCO数据集上进行了评估。

技术领域

本发明涉及协同门控循环融合技术领域，尤其涉及一种协同门控循环融合LSTM图像标注方法。

背景技术

近年来，深度学习方法有着非常大的进步，驱动着图像描述生成朝着深度学习的方法快速发展，并取得了突破性的结果。在机器翻译以及序列到序列任务启发下，基于编码器译码器框架的图像描述生成方法得到了广泛应用。人们为了更好地探索视觉区域之间关系，挖掘图像中可用的语义信息，最近出现一些建立场景图的方法，通过构造视觉关系图来增强图像表示和描述生成。

目前图像描述生成的大量工作在译码端，探索RNN如何更加有效的译码图像特征，使其能够更加快速的收敛模型，更加准确的预测目标单词概率。而LSTM作为一种时间循环神经网络，在图像描述模型的译码器中被广泛使用。它在处理序列数据过程中起着关键的作用，通过引入输入门、遗忘门与输出门，LSTM能够有效解决RNN中存在的梯度消失问题。但是，LSTM序列生成的链状结构相对比较单一，每一时刻只有一个LSTM单元的状态输出。对比传统的LSTM方法提出了一种并行LSTM机制，即pLSTM模型，在每一层并行多个LSTM对同一输入获取不同的上下文信息。然而，每一层并行LSTM的方法虽然可以对输入信息进行多种不同的建模，但是LSTM单元之间是缺少序列关联性的。

发明内容

本发明的目的在于提供一种协同门控循环融合LSTM图像标注方法，旨在解决现有技术中的对比传统的LSTM方法提出了一种并行LSTM机制，即pLSTM模型，在每一层并行多个LSTM对同一输入获取不同的上下文信息。然而，每一层并行LSTM的方法虽然可以对输入信息进行多种不同的建模，但是LSTM单元之间是缺少序列关联性的的技术问题。

为实现上述目的，本发明采用的一种协同门控循环融合LSTM图像标注方法，包括如下步骤，

通过协同门控注意方法执行图像-文本匹配的多模态任务；

由生成注意权值的注意LSTM循环融合组成注意rLSTM，表示为rLSTM^a；

由生成单词的语言LSTM循环融合组成语言rLSTM，表示为rLSTM^l；

把协同门控注意SGA和循环融合LSTM整合在一起，形成rLSTM-SGA；

使用数据集对方法进行评论。

其中，在“通过协同门控注意方法执行图像-文本匹配的多模态任务”中，所述方法还包括，

使用卷积神经网络模型提取空间语义信息；

使用Faster-RCNN提取显著区域信息；

将提取的空间语义信息和显著区域信息融合在一起，同时利用图像不同的区域信息和空间信息生成当前的描述文本。

其中，在“由生成注意权值的注意LSTM循环融合组成注意rLSTM”中，所述方法还包括，

在第一层上，rLSTM^a网络的隐藏状态计算公式如下：