[发明专利]一种基于异构数据融合的图文匹配方法及系统

说明书

本发明提供一种基于异构数据融合的图文匹配方法及系统，包括：确定待匹配的图像数据集和文本数据集；将所述图像数据集输入到im2txt模型，以为图像数据集中的每张图像生成对应的图像描述文本；将图像数据集中每张图像的描述文本与文本数据集中的每个文本进行相似度计算，将文本数据集中与每张图像描述文本相似度大于阈值的文本作为图像数据集中每张图像的匹配文本，完成对图像数据集和文本数据集两种异构数据的匹配。本发明使用im2txt模型实现图像模态数据到文本模态数据的转换，借由模态转换，能够将多模态数据匹配转为单模态数据匹配，单模态数据匹配只需对一种模态的语义信息进行提取，且可避免不同模态数据语义信息的差异性，直接进行匹配。

技术领域

本发明属于图文匹配领域，更具体地，涉及一种基于异构数据融合的图文匹配方法及系统。

背景技术

随着社会进入了大数据时代。信息形式变得多种多样，像视频、音频、文本、图像等，人们可以从各种各样的渠道上获取和传播信息，并逐渐演变成多媒体形式。然而，传统形式上获取信息是从海量数据中根据有限的条件提取用户需求的数据，并直接返回给用户，这样会导致缺乏对不同模态数据的内在联系的挖掘，用户只能自己以现有知识概念去理解和筛选数据。而数据融合是集成多源数据、消除结构差异、提升数据质量与完整性、挖掘数据关联、提高数据可分析性的有效解决方案。通过挖掘出不同模态数据的语义关联并进行数据融合，可以为用户提供更良好的服务。

在图文匹配领域，早期图文匹配主要依靠的是对图片和文本的标注信息，或形成图片和文本的关键字，依据标注信息和关键字，将文本和图像进行匹配，此技术也叫图像搜索技术(Text-based Image Retrieval，TBIR)，其主要借助人工对各自模态数据的标注，当用户需要获取某一事物的其他模态数据时，系统会对用户的键入关键词或类似的标注信息进行精确或模糊的检索并返回对应数据。但人工标注有着很大的缺点，首先人工标注会耗费大量人力物力，其次，人工标注存在人对图像，文本的主观理解，会因为不同人的理解不同而对标注的准则产生分歧，进而影响图文匹配的准确率。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种基于异构数据融合的图文匹配方法及系统，旨在解决现有图文匹配涉及不同模态，需要人工标注耗费大量人力且因人理解力不同导致匹配准确率不高的问题。

为实现上述目的，第一方面，本发明提供了一种基于异构数据融合的图文匹配方法，包括如下步骤：

确定待匹配的图像数据集和文本数据集；

将所述图像数据集输入到im2txt模型，以为图像数据集中的每张图像生成对应的图像描述文本；

将图像数据集中每张图像的描述文本与文本数据集中的每个文本进行相似度计算，将文本数据集中与每张图像描述文本相似度大于阈值的文本作为图像数据集中每张图像的匹配文本，完成对图像数据集和文本数据集两种异构数据的匹配。

在一个可选的示例中，所述im2txt模型包括：Encoder端和Decoder端；

在Encoder端经由CNN提取出固定维度的图像特征向量，再输入到Decoder端；

在Decoder端经由LSTM网络生成一句关于图像内容的描述，作为图像描述文本。

在一个可选的示例中，将所述图像数据集输入到im2txt模型，还包括如下步骤：

对图像数据集中的每张图像进行预处理，所述预处理为：对图像解码得到图像的三维矩阵张量，并将三维矩阵张量转化为预设维度和预设数据类型的张量，随后对转化后张量的各个元素归一化处理，之后采用激活函数对归一化后的张量进行处理，得到图像的稀疏特征图，并将稀疏特征图降维成预设维度的向量；

将所述图像数据集输入到im2txt模型具体为：将图像数据集中每张图像预处理后得到的向量输入到im2txt模型。