[发明专利]一种基于融合门循环网络模型的图像转语言方法

说明书

本发明公开了一种基于融合门循环网络模型的图像转语言方法，包括：将图像数据集中的图像随机纳入训练集，将训练集中的图像数据进行预处理获得适应卷积网络尺寸的图像和包含所有词向量的集合，并将预处理后的图像进行卷积得到图像输出向量；将图像输出向量与集合中的起始符合并作为融合门循环网络模型的输入，进入融合门循环网络模型后经过t₀时间步产生第一隐藏层输出；将第一隐藏层输出与集合中的第一个词向量合并作为t₁时间步的输入，进入融合门循环网络模型经过t₁时间步获得第二隐藏层输出，如此循环迭代直至集合中所有词向量全部参与循环迭代过程，融合门循环网络模型训练完成；将待处理图像输入到训练完成的融合门循环网络模型中生成语言信息。

技术领域

本发明涉及图像识别技术领域，具体涉及一种基于融合门循环网络模型的图像转语言方法。

背景技术

图像理解是计算机视觉领域研究中的核心和热点问题，该问题的核心是如何将一幅图像转化成一句话，这句话就描述了这幅图像的内容。使用计算机程序达到类似的效果面临诸多问题，因为图像理解需要考虑多方面的因素，比如如何利用图像的特征信息、如何将理解的知识转换成一段文字描述以及如何将这些过程转换成逻辑代码，对于传统的计算机算法而言，实现这项工作的难度巨大。

发明内容

鉴于现有技术存在的上述问题，本发明提供一种基于融合门循环网络模型的图像转语言方法，所采用的网络模型以编码器-解码器作为整体结构框架，并将注意力机制嵌入到语言模型之中，该网络模型是图像的空间信息与时间信息的融合，相对于以前的研究，本发明在实现图像理解上的效果更好，速度更快。本发明的技术方案为：

一种基于融合门循环网络模型的图像转语言方法，包括：

(1)将图像数据集中的图像随机纳入训练集，将训练集中的图像数据进行预处理获得适应卷积网络尺寸的图像和包含所有词向量的集合，并将预处理后的图像进行卷积得到图像输出向量；

(2)将所述图像输出向量与所述集合中的起始符合并作为融合门循环网络模型的输入，进入所述融合门循环网络模型后经过t₀时间步产生第一隐藏层输出；将所述第一隐藏层输出与所述集合中的第一个词向量合并作为t₁时间步的输入，进入所述融合门循环网络模型经过t₁时间步获得第二隐藏层输出，如此循环迭代直至所述集合中所有词向量全部参与循环迭代过程，融合门循环网络模型训练完成；

(3)将待处理图像输入到训练完成的融合门循环网络模型中生成语言信息。

可选地，所述步骤(1)中图像数据集为MSCOCO2014数据集或者MSCOCO2017数据集。

进一步地，所述步骤(1)中将训练集中的图像数据进行预处理，包括：

(1-1)将每一张图像处理成224×224大小，并将每张图像中的每一个自然语言语句与该图像成对保存，一个图像-自然语言语句作为一个图像理解数据；

(1-2)获取所有图像理解数据中具有最长序列的自然语言语句的长度，然后采用填充符将剩下的自然语言语句的序列填充至该长度，并且重新保存填充完毕的图像理解数据；

(1-3)统计所有自然语言语句中出现5次以上的单词，依次去重、排序后统计单词总个数k，给予每个单词唯一的序号，将所有自然语言语句转变为序号序列，并用维度大小为k×1的列向量d表示所有单词，列向量中对应单词序号的位置置为1，其余置为0，将该列向量送入维度大小为k×512词嵌入矩阵W_d中转换成维度大小为512的向量，一个这样的向量称为词向量x，x＝d^TW_d；该词向量x作为循环神经网络的输入。