[发明专利]一种基于异构数据融合的图文匹配方法及系统

权利要求书

1.一种基于异构数据融合的图文匹配方法，其特征在于，包括如下步骤：

确定待匹配的图像数据集和文本数据集；

将所述图像数据集输入到im2txt模型，以为图像数据集中的每张图像生成对应的图像描述文本；

将图像数据集中每张图像的描述文本与文本数据集中的每个文本进行相似度计算，将文本数据集中与每张图像描述文本相似度大于阈值的文本作为图像数据集中每张图像的匹配文本，完成对图像数据集和文本数据集两种异构数据的匹配。

2.根据权利要求1所述的方法，其特征在于，所述im2txt模型包括：Encoder端和Decoder端；

在Encoder端经由CNN提取出固定维度的图像特征向量，再输入到Decoder端；

在Decoder端经由LSTM网络生成一句关于图像内容的描述，作为图像描述文本。

3.根据权利要求1所述的方法，其特征在于，将所述图像数据集输入到im2txt模型，还包括如下步骤：

对图像数据集中的每张图像进行预处理，所述预处理为：对图像解码得到图像的三维矩阵张量，并将三维矩阵张量转化为预设维度和预设数据类型的张量，随后对转化后张量的各个元素归一化处理，之后采用激活函数对归一化后的张量进行处理，得到图像的稀疏特征图，并将稀疏特征图降维成预设维度的向量；

将所述图像数据集输入到im2txt模型具体为：将图像数据集中每张图像预处理后得到的向量输入到im2txt模型。

4.根据权利要求3所述的方法，其特征在于，im2txt模型为图像数据集中的每张图像生成对应的图像描述文本，具体为：

CNN基于每张图像预处理后的向量提取图像特征信息作为初始状态信息并实例化Initial Caption；将Initial Caption输入到partial_captions堆，将partial_captions排序提取后读取partial_captions堆中每个Caption对应的sentence和state，输入到LSTM网络；

LSTM网络获取新的状态信息new_state以及下一个可能词汇和概率的列表，针对每一个的下一预测词，更新对应参数信息并实例化Caption，根据预测的下一个预测词是否为终止符放到不同的Caption堆中，直至所有预测文本结束，输出前几个最大可能性的预测文本作为图像描述文本。

5.根据权利要求4所述的方法，其特征在于，所述输出前几个最大可能性的预测文本作为图像描述文本，具体为：

式中，score为预测文本得分，len(sentence)表示预测文本长度，log(p_i)表示预测文本第i个词汇P_i的对数似然估计；

将得分值大于预设值的预测文本输出作为图像的描述文本。

6.一种基于异构数据融合的图文匹配系统，其特征在于，包括：

待匹配数据确定单元，用于确定待匹配的图像数据集和文本数据集；

图像文本描述单元，用于将所述图像数据集输入到im2txt模型，以为图像数据集中的每张图像生成对应的图像描述文本；

图文匹配单元，用于将图像数据集中每张图像的描述文本与文本数据集中的每个文本进行相似度计算，将文本数据集中与每张图像描述文本相似度大于阈值的文本作为图像数据集中每张图像的匹配文本，完成对图像数据集和文本数据集两种异构数据的匹配。

7.根据权利要求6所述的系统，其特征在于，所述图像文本描述单元所用的im2txt模型包括：Encoder端和Decoder端；在Encoder端经由CNN提取出固定维度的图像特征向量，再输入到Decoder端；在Decoder端经由LSTM网络生成一句关于图像内容的描述，作为图像描述文本。