[发明专利]基于深度残差网络及注意力的图像描述生成方法和装置

说明书

本发明公开了一种基于深度残差网络及注意力的图像描述生成方法和装置，解决了深度神经网络精准度下降的问题，利用深度残差网络学习图像从底层到高层的图像特征，产生丰富的输入图像表示，然后结合注意力的循环长短期记忆网络来产生自然通顺的描述句子。该方法包括以下步骤：获取大量的图像样本数据，并对其进行预处理；提取预处理后的图像样本数据的图像特征；利用残差神经网络模型对提取的图像特征进行处理，产生图像表示；将图像表示映射到基于注意力的循环长短期记忆网络语言模型的输入端，利用基于注意力的循环长短期记忆网络语言模型预测图像的词向量，产生图像的描述句子。

技术领域

本公开涉及图像处理领域，具体涉及一种基于深度残差网络及注意力的图像描述生成方法和装置。

背景技术

图像描述生成技术与图像语义分析、图像标注和图像高级语义提取等技术紧密相关。深度学习近年来在图像和自然语言处理任务上都表现出了良好的性能。

近年来，在图像分类和图像识别上深度卷积网络取得了一系列突破。深度网络通过叠加层的深度，使得特征变得更加丰富。许多重大的视觉识别任务也都从深度模型中获益。但是随着网络深度的增加，精准度开始饱和，然后迅速下降，出现模型退化问题。发明人在研发过程中发现，精准度的下降并不是由过度拟合造成的，而是在深度模型中增加更多的层数造成了更高的训练误差。残差网络应用的经典实例表明，一个更深的残差网络特征提取模型不会产生比浅层模型更高的训练误差。

虽然深度神经网络在图像描述生成上表现出了很强大的处理能力，但仍然存在一些问题没有解决：随着网络深度的增加，模型训练效果并没有出现最佳状态，反而准确率会出现趋于饱和并下降的现象,但是残差网络可以有效解决这一退化现象；提取图像特征时，关注点比较单一，提取的图像特征利用不充分，注意力机制可以很好地处理图像特征关注点的选取。

发明人在研发过程中发现，现有技术中对于随着网络深度的增加，模型训练效果并没有出现最佳状态，反而准确率会出现趋于饱和并下降的现象；提取图像特征时，关注点比较单一，提取的图像特征利用不充分。

发明内容

为了克服上述现有技术的不足，本公开提供了一种基于深度残差网络及注意力的图像描述生成方法和装置，解决了深度神经网络精准度下降的问题，利用深度残差网络学习图像从底层到高层的图像特征，通过将输入图像嵌入到一个固定的矢量中来产生丰富的输入图像表示，然后结合注意力的循环长短期记忆网络来产生自然通顺的描述句子。

本公开所采用的技术方案是：

一种基于深度残差网络及注意力的图像描述生成方法，该方法包括以下步骤：

获取大量的图像样本数据，并对其进行预处理；

提取预处理后的图像样本数据的图像特征；

利用残差神经网络模型对提取的图像特征进行处理，产生图像表示；

将图像表示映射到基于注意力的循环长短期记忆网络语言模型的输入端，利用基于注意力的循环长短期记忆网络语言模型预测图像的词向量，产生图像的描述句子。

进一步的，所述获取大量的图像样本数据，并对其进行预处理的步骤包括：

获取大量的图像样本数据，构建训练集；

从训练集中随机抽取一定数量的图像样本数据，并对这些图像样本数据进行除噪、放大缩小，亮度、对比度、饱和度调整、标准化以及图像的色彩空间转化处理。

进一步的，所述提取预处理后的图像样本数据的图像特征的步骤包括：

将预处理后的图像样本数据输入至深度残差网络模型的每个堆叠层中；