[发明专利]图文匹配模型训练方法、图文匹配方法及装置

说明书

本公开提供了一种图文匹配模型训练方法、图文匹配方法及装置，涉及计算机技术领域，尤其涉及人工智能和深度学习技术领域。具体实现方案为：获取训练样本集，训练样本集包括多个训练样本对和各自对应的样本标签，训练样本对包括样本图像和样本文本，样本标签表征样本图像和样本文本的相似程度；利用训练样本集，按照以下至少一种训练方式训练图文匹配模型：学习图像和文本之间的特征相关性；学习对图像特征进行文本识别。本公开技术方案，基于图文匹配模型提取特征，进行图文匹配，匹配精度高。

技术领域

本公开涉及计算机技术领域。本公开尤其涉及人工智能和深度学习技术领域。

背景技术

现有技术中，图像和文本匹配通常的方式通常包括两个分支，一个分支是首先对待处理图像进行光学字符识别(Optical Character Recognition，OCR)，识别出待处理图像中的文字内容；另一个分支是将识别出的文字内容与待匹配的文本进行匹配计算，根据计算结果确定待处理图像和待处理文本是否匹配。

然而，通过OCR对待处理图像进行文字识别属于跨模态处理，会带来信息的损失，输入到文本匹配这个分支，会影响匹配的精度。

发明内容

本公开提供了一种图文匹配模型训练方法、图文匹配方法及装置。

根据本公开的一方面，提供了一种图文匹配模型训练方法，包括：

获取训练样本集，训练样本集包括多个训练样本对和各自对应的样本标签，训练样本对包括样本图像和样本文本，样本标签表征样本图像和样本文本的相似程度；

利用训练样本集，按照以下至少一种训练方式训练图文匹配模型：

学习图像和文本之间的特征相关性；

学习对图像特征进行文本识别。

根据本公开的一方面，提供了一种图文匹配方法，包括：

获取待处理图像和多个待处理文本；

基于图文匹配模型获取待处理图像的图像特征；

基于图文匹配模型获取多个待处理文本各自对应的文本特征；

基于图像特征和各文本特征，从待处理文本中确定与待处理图像匹配的目标文本；

其中，图文匹配模型是本公开任一实施例中的图文匹配模型训练方法训练得到的。

根据本公开的另一方面，提供了一种图文匹配模型训练装置，包括：

获取模块，用于获取训练样本集，训练样本集包括多个训练样本对和各自对应的样本标签，训练样本对包括样本图像和样本文本，样本标签表征样本图像和样本文本的相似程度；

训练模块，用于利用训练样本集，按照以下至少一种训练方式训练图文匹配模型：

学习图像和文本之间的特征相关性；

学习对图像特征进行文本识别。

根据本公开的另一方面，提供了一种图文匹配装置，包括：

获取模块，用于获取待处理图像和多个待处理文本；

第一特征提取模块，用于基于图文匹配模型获取待处理图像的图像特征；

第二特征提取模块，用于基于图文匹配模型获取多个待处理文本各自对应的文本特征；

匹配模块，用于基于图像特征和各文本特征，从待处理文本中确定与待处理图像匹配的目标文本；

其中，图文匹配模型是基于本公开任一实施例中的图文匹配模型训练方法训练得到的。

根据本公开的另一方面，提供了一种电子设备，包括：