[发明专利]图像搜索模型的训练方法及图像搜索方法

说明书

本公开提供了一种图像搜索模型的训练方法及图像搜索方法，涉及人工智能领域，具体涉及计算机视觉和深度学习技术，可应用于图像搜索场景下。具体实现方案为：获取样本文本，其中，样本文本包括第一语种文本和第二语种文本；基于样本文本，对跨模态图文检索模型中的语义转换网络中进行训练，以获取目标语义转换网络，并基于目标语义转换网络生成最终的目标跨模态图文检索模型。由此，本公开能够在保持经过大规模数据训练的跨模态图文检索模型特征表示丰富且精准，且并未丢失迁移性的同时，仅进行了语义对齐，实现了任一语种文本到图像的跨模态搜索，提高了图像搜索模型的训练过程中的效率和可靠性。

技术领域

本公开涉及计算机技术领域，并且更具体地涉及人工智能领域，具体涉及计算机视觉和深度学习技术，可应用于图像搜索场景下。

背景技术

检索技术应用在日常生活的方方面面，其大致可分为三个大方向，一是图像/视频检索，比如拍照搜索同款商品、相似短视频搜索；二是文本搜索文本，在搜索引擎中输入要搜索的关键词，既可检索试图搜索的文本信息。除此之外，使用文本搜索相应的图片或者视频的需求也日益提升。此时，输入信息的类型和获得的信息的类型不同，可以称之为“跨模态”检索。

然而，相关技术中，跨模态的图像搜索方式尚不完善，因此，往往存在搜索文本约束条件过于苛刻、搜索效率低、可靠性差等技术问题。因此，如何提高图像搜索模型的训练过程中的有效性和可靠性，已成为了重要的研究方向之一。

发明内容

本公开提供了一种图像搜索模型的训练方法及图像搜索方法。

根据本公开的一方面，提供了一种图像搜索模型的训练方法，包括：

获取样本文本，其中，所述样本文本包括第一语种文本和第二语种文本；

基于所述样本文本，对跨模态图文检索模型中的语义转换网络中进行训练，以获取目标语义转换网络，并基于所述目标语义转换网络生成最终的目标跨模态图文检索模型；

其中，所述目标语义转换网络用于将所述样本文本的语义向目标语种的训练文本的语义进行对齐，所述训练文本用于训练所述跨模态图文检索模型。

根据本公开的另一方面，提供了一种图像搜索方法，包括：

获取搜索文本，其中，所述搜索文本为中文文本、英文文本或者中英混合文本中的一种；

将所述搜索文本输入目标跨模态图文搜索模型中，输出与所述搜索文本对应的目标搜索图像。

根据本公开的另一方面，提供了一种图像搜索模型的训练装置，包括：

获取模块，用于获取样本文本，其中，所述样本文本包括第一语种文本和第二语种文本；

生成模块，用于基于所述样本文本，对跨模态图文检索模型中的语义转换网络中进行训练，以获取目标语义转换网络，并基于所述目标语义转换网络生成最终的目标跨模态图文检索模型；

其中，所述目标语义转换网络用于将所述样本文本的语义向目标语种的训练文本的语义进行对齐，所述训练文本用于训练所述跨模态图文检索模型。

根据本公开的另一方面，提供了一种图像搜索装置，包括：

获取模块，用于获取搜索文本，其中，所述搜索文本为中文文本、英文文本或者中英混合文本中的一种；

输出模块，用于将所述搜索文本输入目标跨模态图文搜索模型中，输出与所述搜索文本对应的目标搜索图像。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开第一方面所述的图像搜索模型的训练方法或者第二方面所述的图像搜索方法。