[发明专利]图文匹配模型训练方法、图文匹配方法及装置

权利要求书

1.一种图文匹配模型训练方法，所述方法包括：

获取训练样本集，所述训练样本集包括多个训练样本对和各自对应的样本标签，所述训练样本对包括样本图像和样本文本，所述样本标签表征所述样本图像和样本文本的相似程度；

利用所述训练样本集，按照以下至少一种训练方式训练图文匹配模型：

学习所述样本图像和所述样本文本之间的特征相关性；

学习对图像特征进行文本识别。

2.根据权利要求1所述的方法，其中，采用多类别损失函数学习所述样本图像和所述样本文本之间的特征相关性。

3.根据权利要求1所述的方法，其中，采用连接时序分类损失函数学习对图像特征进行文本识别。

4.一种图文匹配方法，所述方法包括：

获取待处理图像和多个待处理文本；

基于图文匹配模型获取所述待处理图像的图像特征；

基于所述图文匹配模型获取所述多个待处理文本各自对应的文本特征；

基于所述图像特征和各文本特征，从所述待处理文本中确定与所述待处理图像匹配的目标文本；

其中，所述图文匹配模型是基于权利要求1-3任一项所述的图文匹配模型训练方法训练得到的。

5.根据权利要求4所述的方法，其中，所述基于图文匹配模型获取所述待处理图像的图像特征，包括：

采用所述图文匹配模型中的图像特征提取模块提取所述待处理图像的初始图像特征；

采用所述图文匹配模型中的图像特征维度转换模块将所述初始图像特征进行维度转换，得到图像特征。

6.根据权利要求5所述的方法，其中，所述图像特征提取模块是基于VIT网络或深度残差网络ResNet构建的。

7.根据权利要求5所述的方法，其中，所述图像特征维度转换模块是基于全连接神经网络或基于注意力机制的网络构建的。

8.根据权利要求4所述的方法，其中，所述基于所述图文匹配模型获取所述多个待处理文本各自对应的文本特征，包括：

采用所述图文匹配模型中的文本特征提取模块提取所述待处理文本的初始文本特征；

采用所述图文匹配模型中的文本特征维度转换模块将所述初始文本特征进行维度转换，得到文本特征。

9.根据权利要求8所述的方法，其中，所述文本特征提取模块是基于BERT网络或ERNIE网络构建的。

10.根据权利要求8所述的方法，其中，所述文本特征维度转换模块是采用全连接神经网络或基于注意力机制的网络构建的。

11.根据权利要求4-10任一项所述的方法，其中，所述基于所述图像特征和各文本特征，从所述待处理文本中确定与所述待处理图像匹配的目标文本，包括：

基于所述图像特征和各文本特征，确定所述待处理图像和各待处理文本的图文相似度；

基于各图文相似度，从所述待处理文本中确定与所述待处理图像匹配的目标文本。

12.根据权利要求4-10任一项所述的方法，还包括：

将所述待处理图像与所述目标文本关联存储到预设数据库中。

13.根据权利要求4-10任一项所述的方法，所述待处理图像为招牌图像；所述待处理文本为兴趣点POI名称。