[发明专利]一种融合多角度多模态的图像描述生成方法及系统

说明书

本发明公开了一种融合多角度多模态的图像描述生成方法及系统，所述方法包括以下步骤：接收待描述图像，提取所述图像的全局视觉特征和局部视觉特征并进行融合，得到融合视觉特征；采用单层长短期记忆网络，将融合视觉特征作为输入，得到第一句图像描述；根据第一句图像描述生成第一句语义向量；采用基于注意力的长短期记忆网络语言生成模型，将局部视觉特征和所述第一句语义向量作为输入，生成下一句图像描述句子，进而得到完整的图像描述。本发明融合视觉特征和文本语义特征两种模态，并结合注意力机制，实现了图像的多角度全面描述。

技术领域

本发明属于图像处理技术领域，尤其涉及一种融合多角度多模态的图像描述生成方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

近年来，自然语言处理(NLP)和计算机视觉(CV)领域在分析和生成文本以及理解图像和视频方面取得了巨大的进步。日常工作中对于需要结合语言和视觉信息的场景很多，例如在报纸文章的背景下解读照片等。除此之外，网络还提供了大量的语言和视觉信息相结合的数据：标签照片，报纸插图，带有字幕的视频以及社交媒体上的多模式信息。在这些场景下，自动图像描述已经成为关键任务。这项任务涉及分析图像视觉内容，并生成文字描述(通常是一个句子)，用语言表达图像最显着的方面，而好的图像描述需要全面的图像理解。传统的图像描述方法对于图像描述内容角度单一，内容匮乏，不能充分地描述图像中所展现的内容。

发明内容

为克服上述现有技术的不足，本发明提供了一种融合多角度多模态的图像描述生成方法及系统，该方法从文本和图像两个模态进行信息挖掘，基于融合的语义向量和视觉特征生成描述语句，并且，引入了注意力机制来提高模型的学习能力和描述效果。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种融合多角度多模态的图像描述生成方法，包括以下步骤：

接收待描述图像，提取所述图像的全局视觉特征和局部视觉特征并进行融合，得到融合视觉特征；

采用单层长短期记忆网络，将融合视觉特征作为输入，得到第一句图像描述；

根据第一句图像描述生成第一句语义向量；

采用基于注意力的长短期记忆网络语言生成模型，将局部视觉特征和所述第一句语义向量作为输入，生成下一句图像描述句子，进而得到完整的图像描述。

一个或多个实施例提供了一种融合多角度多模态的图像描述生成系统，包括：

视觉特征提取模块，接收待描述图像，提取所述图像的全局视觉特征和局部视觉特征并进行融合，得到融合视觉特征；

句子生成模块，采用单层长短期记忆网络，将融合视觉特征作为输入，得到第一句图像描述；

句子再生成模块，根据第一句图像描述生成第一句语义向量；采用基于注意力的长短期记忆网络语言生成模型，将局部视觉特征和所述第一句语义向量作为输入，生成下一句图像描述句子，进而得到完整的图像描述。

一个或多个实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的融合多角度多模态的图像描述生成方法。

一个或多个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，用于指纹图谱相似度计算，该程序被处理器执行时实现所述的融合多角度多模态的图像描述生成方法。

以上一个或多个技术方案存在以下有益效果：