[发明专利]一种图像文本匹配的方法

摘要

本发明提供了一种图像文本匹配的方法，包括：利用深度神经网络分别提取多尺度的图像特征和文本特征；利用自注意力机制方法计算多个尺度的全局相似性；进行节点级匹配和结构级匹配，利用结构级匹配结果计算多个尺度的局部相似性；根据计算出的多个尺度的全局相似性和局部相似性计算最终总相似性；进行监督学习模型训练，根据损失函数更新模型参数，得到训练后的模型；利用训练后的模型计算输入图像和文本的最终总相似性，根据最终总相似性大小得到匹配的文本或图像。本发明可以在网络训练完成的前提下更快速地找出匹配的图像或文本；利用原始数据的多尺度特征以及更全面的相似性度量方法得到更准确的结果。