[发明专利]一种基于双通道网络的图文关联检索方法

说明书

本发明提供了一种基于双通道网络的图文关联检索方法。所述基于双通道网络的图文关联检索方法包括如下步骤：构造训练数据集；构造图像深度网络模型，构造文本深度网络模型，构造所述图像特征和所述文本特征的关联目标损失函数，训练图像深度网络模型和文本深度网络模型；通过所述图像深度网络模型和文本深度网络模型分别对检索库数据中的图像数据和文本数据进行特征提取，提取对应深度的图像特征和文本特征，并将二者相关联地保存形成索引数据库；提取查询数据的特征，将所述查询数据提取的特征与所述索引数据库库中对应的文本特征或图像特征进行匹配，并根据匹配结果排序返回查询结果。

技术领域

本发明属于信息检索技术领域，具体地涉及一种基于双通道网络的图文关联检索方法。

背景技术

伴随“互联网+”、“大数据”等技术快速发展，人类获取图像和文本的数据量呈现出惊人的增长速度，如何在大规模的数据中找到用户所需内容是信息检索的重要研究内容。传统信息检索技术通过文本查询文本或通过图像查询图像的技术已经无法满足当前的实际需求。人们更希望通过一个检索文本得到与文本相关的图像或文本，或者通过拍摄/提交一张照片来检索与照片内容相关的图像或文本。以上通过文本查询文本或图像查询图像的方法属于单模态数据的查询，而如何在多种模态中进行信息搜索或进行跨模态信息搜索越来越得到人们的重视。以图像查询文本或以文本查询图像的跨模态检索需要解决不同模态数据的特征统一表示问题，由于文本数据和图像数据在数据格式上存在巨大差异，因此如何统一表示不同模态数据成为多模态或跨模态检索的核心问题。

为了解决这个核心问题，传统多模态或跨模态数据表示的方法通常是通过将图像数据经语义理解得到语义文本，再通过语义文本进行查询，但是该类方法受语义理解的精度限制而没有得到很好发展。近年来，随着深度学习的发展，特别是卷积神经网络的发展，通过卷积、池化等操作可以提取更加有效的特征表示，对图像的语义理解和特征表示展现出非常好的特性。同时，文本数据的神经网络语言模型也得到了极好的发展，其中循环神经网络对序列数据的建模因长短期记忆等门控单元而展现出强大的长时记忆能力，可被用于对文本数据进行建模。上述卷积神经网络对图像的特征表示，以及循环神经网络对时序数据的特征表示，可以达到同样的表征能力，但是如何将卷积网络和循环神经网络结合起来，共同学习不同模态数据的一致表示仍是限制多模态和跨模态信息检索的重点问题。

发明内容

本发明的目的在于针对现有技术的缺陷或问题，提供一种基于双通道网络的图文关联检索方法。

本发明的技术方案如下：一种基于双通道网络的图文关联检索方法包括如下步骤：构造训练数据集，所述训练数据集中包括多个成对的图像数据和文本数据；构造对所述图像数据进行图像特征提取的图像深度网络模型，构造对所述文本数据进行文本特征提取的文本深度网络模型，并构造所述图像特征和所述文本特征的关联目标损失函数，根据所述关联目标损失函数，训练图像深度网络模型和文本深度网络模型；通过所述图像深度网络模型和文本深度网络模型分别对检索库数据中的图像数据和文本数据进行特征提取，提取对应深度的图像特征和文本特征，并将二者相关联地保存形成索引数据库；提取查询数据的特征，将所述查询数据提取的特征与所述索引数据库库中对应的文本特征或图像特征进行匹配，并根据匹配结果排序返回查询结果。

优选地，构造训练数据集，所述训练数据集中包括多个成对的图像数据和文本数据具体包括如下步骤：

获取预设数量的图像数据，并尺度归一化至224×224像素大小；

对图像数据进行人工文本描述，通常描述内容为一段几十个或上百个词构成的语句；

对文本描述进行分词等预处理，得到文本词序列；

对分词后每个词进行向量量化表示，一段文本表示为一个包含N个词的向量序列，N为正整数。

优选地，构造对所述图像数据进行图像特征提取的图像深度网络模型具体包括：