[发明专利]基于视觉对比注意力的隐式多模态匹配方法及系统

权利要求书

1.基于视觉对比注意力的隐式多模态匹配方法，其特征在于，包括以下步骤：

S1、进行语料标注，在存在隐式对齐关系的图像区域和文本短语之间建立起一一映射关系；

S2、根据建立的映射关系，对输入图片-文本对进行特征提取，得到图片对象特征序列和文本短语特征序列；

S3、根据得到的图片对象特征序列和文本短语特征序列，对图片对象特征和文本短语特征进行特征交互，计算出对齐和未对齐的视觉表示；

S4、根据输入图片-文本对的文本语言表示、对齐和未对齐的视觉表示，计算真值标签的对齐和未对齐视觉表示的预测概率，将对齐和未对齐视觉表示的预测概率都作为对比感知损失函数共同组成目标函数，优化过程中的目标是最大化真值标签对应对齐视觉表示的概率，最小化真值标签对应未对齐视觉表示的概率。

2.如权利要求1所述的基于视觉对比注意力的隐式多模态匹配方法，其特征在于，步骤S1包括：在开源的Flickr30K语料集上，筛选出具有隐式匹配关系的图像区域和文本短语，在存在隐式对齐关系的图像区域和文本短语之间建立起一一映射关系。

3.如权利要求1所述的基于视觉对比注意力的隐式多模态匹配方法，其特征在于，步骤S2包括：利用Faster R-CNN提取图片中对象序列的特征得到得到图片对象特征序列，利用BERT提取文本中短语序列的特征得到文本短语特征序列。

4.如权利要求3所述的基于视觉对比注意力的隐式多模态匹配方法，其特征在于，所述利用BERT提取文本中短语序列的特征得到文本短语特征序列，包括：对于输入文本，在句子开始位置插入CLS字符，末尾插入SEP字符，接着通过BERT编码，得到输出的特征向量；根据语料集标注的短语边界位置，取每个短语所含字的字向量表示，并对每个短语的所有字向量求平均，作为句子短语的文本特征表示，结合一句话中所有短语的特征表示，得到最终的句子短语特征序列。

5.如权利要求1所述的基于视觉对比注意力的隐式多模态匹配方法，其特征在于，在步骤S3中，利用基础视觉注意力感知层和逆视觉注意力感知层分别计算对齐和未对齐的视觉表示；所述基础视觉注意力感知层利用语言指导来捕捉对齐的图片对象，同时获得对齐的视觉表示；所述逆视觉注意力感知层用于捕捉与文本不一致的对象，计算不一致的视觉表示。

6.基于视觉对比注意力的隐式多模态匹配系统，其特征在于，包括以下模块：

语料标注模块，用于进行语料标注，在存在隐式对齐关系的图像区域和文本短语之间建立起一一映射关系；

特征提取模块，用于根据建立的映射关系，对输入图片-文本对进行特征提取，得到图片对象特征序列和文本短语特征序列；

特征交互模块，用于根据得到的图片对象特征序列和文本短语特征序列，对图片对象特征和文本短语特征进行特征交互，计算出对齐和未对齐的视觉表示；

解码预测模块，用于根据输入图片-文本对的文本语言表示、对齐和未对齐的视觉表示，计算真值标签的对齐和未对齐视觉表示的预测概率，将对齐和未对齐视觉表示的预测概率都作为对比感知损失函数共同组成目标函数，优化过程中的目标是最大化真值标签对应对齐视觉表示的概率，最小化真值标签对应未对齐视觉表示的概率。

7.如权利要求6所述的基于视觉对比注意力的隐式多模态匹配系统，其特征在于，所述进行语料标注，在存在隐式对齐关系的图像区域和文本短语之间建立起一一映射关系，具体包括：在开源的Flickr30K语料集上，筛选出具有隐式匹配关系的图像区域和文本短语，在存在隐式对齐关系的图像区域和文本短语之间建立起一一映射关系。

8.如权利要求6所述的基于视觉对比注意力的隐式多模态匹配系统，其特征在于，所述对输入图片-文本对进行特征提取，得到图片对象特征序列和文本短语特征序列，具体包括：利用Faster R-CNN提取图片中对象序列的特征得到得到图片对象特征序列，利用BERT提取文本中短语序列的特征得到文本短语特征序列。