[发明专利]训练图文检索模型的方法、多模态图像检索方法及装置

说明书

本公开提供了一种训练图文检索模型的方法，涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术。具体实现方案为：获取样本数据，样本数据包括样本文本和样本图像，样本文本包括第一语种样本文本和第二语种样本文本；利用文本编码子模型处理第一语种样本文本和第二语种样本文本，得到样本数据的样本文本特征；利用图像编码子模型处理样本图像，得到样本数据的样本图像特征；以及根据样本文本特征和样本图像特征，对图文检索模型进行训练。本公开还提供了一种多模态图像检索方法、装置、电子设备及存储介质。

技术领域

本公开涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术。具体涉及一种训练图文检索模型的方法、多模态图像检索方法、装置、电子设备及存储介质。

背景技术

图文检索模型可以将采集到的图文对(文本及文本对应的图像)映射到同一个特征空间。通过深度学习等方式，调整图像的特征与文本的特征之间的特征距离，可以学习到单语种文本与图像之间的关系。

发明内容

本公开提供了一种训练图文检索模型的方法、多模态图像检索方法、装置、电子设备及存储介质。

根据本公开的一方面，提供了一种训练图文检索模型的方法，上述图文检索模型包括文本编码子模型和图像编码子模型，上述方法包括：获取样本数据，上述样本数据包括样本文本和样本图像，上述样本文本包括第一语种样本文本和第二语种样本文本；利用上述文本编码子模型处理上述第一语种样本文本和上述第二语种样本文本，得到上述样本数据的样本文本特征；利用上述图像编码子模型处理上述样本图像，得到上述样本数据的样本图像特征；以及根据上述样本文本特征和上述样本图像特征，对上述图文检索模型进行训练。

根据本公开的另一方面，提供了一种多模态图像检索方法，包括：将图像检索文本输入到图文检索模型，得到上述图像检索文本的文本特征；确定上述文本特征与N个图像特征之间的N个第二相似度；针对上述N个第二相似度中大于预设相似度阈值的M个第二相似度，确定与上述M个第二相似度对应的M个图像，作为检索结果，其中，N≥M；其中，上述图文检索模型是根据本公开提供的方法训练的。

根据本公开的另一方面，提供了一种训练图文检索模型的装置，上述图文检索模型包括文本编码子模型和图像编码子模型，上述装置包括：获取模块，用于获取样本数据，上述样本数据包括样本文本和样本图像，上述样本文本包括第一语种样本文本和第二语种样本文本；第一获得模块，用于利用上述文本编码子模型处理上述第一语种样本文本和上述第二语种样本文本，得到上述样本数据的样本文本特征；第二获得模块，用于利用上述图像编码子模型处理上述样本图像，得到上述样本数据的样本图像特征；以及训练模块，用于根据上述样本文本特征和上述样本图像特征，对上述图文检索模型进行训练。

根据本公开的另一方面，提供了一种多模态图像检索装置，包括：第三获得模块，用于将图像检索文本输入到图文检索模型，得到上述图像检索文本的文本特征；第一确定模块，用于确定上述文本特征与N个图像特征之间的N个第二相似度；以及第二确定模块，用于针对上述N个第二相似度中大于预设相似度阈值的M个第二相似度，确定与上述M个第二相似度对应的M个图像，作为检索结果，其中，N≥M；其中，上述图文检索模型是根据本公开提供的装置训练的。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行本公开提供的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行本公开提供的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现本公开提供的方法。