[发明专利]一种双向多模态递归网络的图像描述方法

说明书

本发明提供了一种双向多模态递归网络的图像描述方法，包括：下载图像作为训练集，获取训练集中的图像及其对应的描述语句；提取训练集中的语句中出现的单词并构建词汇表；利用预训练好的卷积神经网络提取数据集中图像的特征；构建双向多模态递归网络模型，将提取得到的图像特征与对应的文本特征进行融合；对双向多模态递归网络模型进行训练；将一幅图片输入到预训练好的模型中，得到对应的描述语句。

技术领域

本发明设计一种图像处理和模式识别技术，特别是一种双向多模态递归网络的图像描述方法。

背景技术

当前随着计算机视觉和自然语言处理的快速发展，人们对于视觉信息的获取越来越重视，如何用自然语言去描述一幅图像的内容是当前研究的一个重点，也是模式识别领域的研究内容。近年来，依托于卷积神经网络来提取图像特征，结合递归神经网络在自然语言处理上的优势，深度神经网络模型已经成为图像描述的主流方法。其原理是基于图像特征，通过递归神经网络在运行过程中的每一时刻依次产生各个单词，这些单词组合起来则构成相应的描述语句。

目前存在的这些模型在提取图像特征后直接拿来使用，第一种是仅在模型的开始时刻输入图像特征，这会导致模型在后续时刻视觉信息的丢失，第二种是在模型的每一时刻均输入图像特征，这样虽然保证了视觉信息，但是图像特征在不同时刻始终保持不变，模型在每一时刻产生的单词却是变化的。另外，现有的模型每一时刻产生单词时只考虑历史文本信息而忽略未来文本信息，即产生的句子中的每一个单词都是由其之前的单词得到的。这些局限影响了图像描述的准确性，因此需要改善这些问题，从而提升图像描述的性能。

发明内容

本发明的目的在于提供一种双向多模态递归网络的图像描述方法，该模型将通过卷积神经网络提取得到的图像特征与当前时刻的文本特征结合，使改良后的视觉特征在模型运行过程中一直保持变化，并且同时考虑了历史和未来的文本信息来决定当前时刻产生的单词，即当前时刻的单词不仅可以由其之前的单词得到，也可以由其之后的单词得到，这样从两个方向上得到两个语句，从中选择出现概率较大的语句作为最终的描述语句。

实现本发明目的的技术方案为：一种双向多模态递归网络的图像描述方法，包括以下步骤：

步骤1，下载图像作为训练集，获取训练集中的图像及其对应的描述语句；

步骤2，提取训练集中的语句中出现的单词并构建词汇表；

步骤3，利用预训练好的卷积神经网络提取数据集中图像的特征；

步骤4，构建双向多模态递归网络模型，将提取得到的图像特征与对应的文本特征进行融合；

步骤5，对双向多模态递归网络模型进行训练；

步骤6，将一幅图片输入到预训练好的模型中，得到对应的描述语句。

本发明与现有技术相比，具有以下优点：本发明在提取图像的特征之后，在模型运行的每一时刻均输入图像特征，保证了图像信息的充分利用，并且在每一时刻与对应的文本特征进行融合，这样在模型训练的不同时刻图像的特征也对应变化，包含了更加丰富的视觉信息，同时模型也能学习到图像特征与不同时刻产生单词的文本特征之间的关系。本发明构建了一种新的网络模型，与传统的多模态递归网络不同，双向多模态递归网络能够兼顾历史和未来的文本信息，并且与多个双向递归网络堆叠的结构相比，本发明模型拥有更加简单的结构，不仅更加容易训练达到收敛，而且图像描述的性能和准确性也得到提高。

下面结合说明书附图对本发明做进一步描述。

附图说明

图1为本发明一种双向多模态递归网络的图像描述方法的流程图。

图2为某一个时刻上模型结构的示意图。

图3为模型结构在时间序列上展开后的示意图。