[发明专利]一种基于文本的图像检索方法、装置及可读存储介质

说明书

本申请提出了一种基于文本的图像检索方法、装置及可读存储介质，包括：获取检索文本和多个候选图像的初始图像特征；将检索文本转换为数字矩阵，根据数字矩阵提取初始文本特征，将数字矩阵与初始文本特征进行残差连接获得增强文本特征；将增强文本特征分别融合每一初始图像特征得到对应的第一特征矩阵，将初始文本特征分别融合每一初始图像特征得到对应的第二特征矩阵；将融合了相同初始图像特征的第二特征矩阵与第一特征矩阵同时输入特征交流网络得到对应的交流特征矩阵；将所有交流特征矩阵输入头部预测网络以获取目标图像。该方法使两种模态的特征进行有效信息交流和关联训练，提高模型的泛化能力，增强文本与图像之间的关联性，提交检索精度。

技术领域

本申请涉及图像检索领域，特别是涉及一种基于文本的图像检索方法、装置及可读存储介质。

背景技术

图像检索方法主要分为两种，以文字搜图和以图搜图。

最初的以文字搜图主要是基于文本，也就是先建立包括多个标签的字典，人工根据字典中的标签对图像素材库中每一张图像进行描述，再从检索文本中提取出存在的标签，通过标签目标图像素材库中的图像以实现图像检索。这种方式不仅需要构建包括大量标签的字典，而且还需要大量的人力对图像素材库中的每一张图像进行手工标注，效率极其低下。

另外，以图搜图主要是使用图像特征提取技术，构建包括大量图像的图像素材库，提取待检索图像与图像素材库中图像的特征进行对比，在卷积神经网络之前主要是使用手工设计的额算法进行图像特征提取，例如harr、gist、sift等。

卷积神经网络（CNN）属于机器学习网络，在多个领域的视觉任务中有了最顶尖的表现，在图像检索的领域CNN也有了远超传统方法的表现。通过添加卷积层的数量实现的深度学习更是能提升CNN在图像特征提取方面的表现。然而直接使用CNN进行的特征提取主要集中于以图搜图，因为CNN并不能用于提取文字的特征，若使用其它机器学习算法提取的文字特征则因为与图像特征不在同一个概率分布，所以也无法进行直接的比较。

目前出现了多模态机器学习，与之前的机器学习的不同在于多模态机器学习能够接收不同模态的信息，将文字和图片、音频和视频等作为输入，因此可以通过多模态机器学习来进行以文字搜图。

然而，当前的多模态机器学习仍然依赖于人工标注的数据，不可以使用未经标注的数据进行无监督的机器学习，对于标注数据不足的情况下，会导致模型的泛化能力不足。并且，对于文本和图像的融合处理主要集中在训练过程中，在抽取文本和图像的特征时，是独立的抽取各自的特征，没有进行有效的信息交换，无法充分利用文本和图像的特征。另外，有些多模态机器学习会进行一些早期的预训练，但需求非常大的计算资源，无法在实现大范围部署。

发明内容

本申请提供了一种基于文本的图像检索方法、装置及电子装置、可读存储介质，该方法通过分别提取检索文本和候选图像的特征，使两种模态的特征通过特征融合的方式进行有效的信息交流，提高少量样本数据下模型的泛化能力，并使用改进transformer的结构进行关联训练，增强检索文本与候选图像之间的关联性，提高基于文本描述检索图像的能力。

第一方面，本申请实施例提供了一种基于文本的图像检索方法，包括以下步骤：

获取检索文本和多个候选图像的初始图像特征；

将所述检索文本转换为数字矩阵，根据所述数字矩阵提取初始文本特征，将所述数字矩阵与所述初始文本特征进行残差连接获得增强文本特征；

将所述增强文本特征分别融合每一所述初始图像特征得到对应的第一特征矩阵，将所述初始文本特征分别融合每一所述初始图像特征得到对应的第二特征矩阵；