[发明专利]一种基于跨模态自注意力的无候选框指代表达理解方法

说明书

本发明公开了一种基于跨模态自注意力的无候选框指代表达理解方法，该方法无需预先提取候选区域，能够更加高效准确的完成指代表达理解任务。本发明的技术方案如下：第一部分为对语言及图像信息的提取和编码过程，采用YOLOv3卷积神经网络对图片信息进行特征提取，采用BERT预训练模型对语言信息进行特征提取；第二部分为基于多头注意力机制的跨模态特征加强过程，采用两个并行的多头交互注意力模块分别实现语言对图像及图像对语言的特征强化；第三部分为基于多头自注意力机制的跨模态特征融合过程，利用一个多头自注意力模块对上一部分中获取的两模态的特征进行融合；第四部分为目标的定位过程，采用无锚方法，实现对目标的定位。

技术领域

本发明属于模式识别技术领域，具体涉及一种无候选框指代表达理解方法。

背景技术

指代表达理解(Referring expression comprehension,REC)是计算机视觉领域中一项富有挑战性和具有重要意义的任务。该任务要求计算机根据给定的图像和自然语言描述，推理分析得到描述对应的目标区域，是人机交互、视觉问答、图像检索等多个领域的基础任务。然而，这项任务需要全面理解复杂的自然语言和多种类型的视觉信息，这对指代表达理解有效方法的提出带来了巨大困难。

目前解决该任务的主流思路是两阶段方法，这类方法将指代表达理解转化为候选区域的选择过程。它们依赖Faster R-CNN等成熟的目标检测器，来提取一组候选区域(proposals)，并从中挑选评分最高的区域作为最终答案。尽管现有的两阶段方法已经获得了相当好的性能，但这些框架在第一阶段受到了不可避免的错误积累(如果目标对象不能在第一阶段被捕获，框架最终将无法得到正确答案)。另一方面，使用两阶段方法付出的计算成本相当巨大。在提出候选区域时，每一个候选区域都必须进行特征提取和跨模态的相似度计算。

发明内容

为了克服现有技术的不足，本发明提供了一种基于跨模态自注意力的无候选框指代表达理解方法，该方法无需预先提取候选区域，能够更加高效准确的完成指代表达理解任务。本发明的技术方案如下：第一部分为对语言及图像信息的提取和编码过程，采用YOLOv3卷积神经网络对图片信息进行特征提取，采用BERT预训练模型对语言信息进行特征提取；第二部分为基于多头注意力机制的跨模态特征加强过程，采用两个并行的多头交互注意力模块分别实现语言对图像及图像对语言的特征强化；第三部分为基于多头自注意力机制的跨模态特征融合过程，利用一个多头自注意力模块对上一部分中获取的两模态的特征进行融合；第四部分为目标的定位过程，采用无锚方法，实现对目标的定位。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：图像及语言信息的提取和编码；

步骤1-1：将图像经过YOLOv3卷积神经网络提取得到一个特征图；将图像分为多个区域，在特征图中加入图像各个区域的位置信息，将得到的图像特征记为G∈R^w×h×d，w、h、d分别表示特征图的宽、高以及特征的维度，g_i表示特征图中第i个特征向量；

步骤1-2：设定最长的语句词数为T，词数不足T的语句空白处用PAD标识填充，语句开始位置添加CLS标识，语句结尾添加SEP标识；将语句分解为词，通过词嵌入后得到各个词对应的特征向量；再对词的特征向量进行位置编码，将经过位置编码后的词向量输入进BERT网络，得到语言特征E∈R^T×dim，dim表示表达每个单词特征向量的维度，e_t表示第t个词汇的特征向量；

步骤2：基于多头注意力机制的跨模态特征加强；

步骤2-1：将语句特征E和图像特征G输入到跨模态交互注意力模块中；所述跨模态交互注意力模块包括语言引导的视觉注意力模块和视觉引导的语言注意力模块；语言引导的视觉注意力模块和视觉引导的语言注意力模块都分别由N个相同注意力层构成；