[发明专利]基于多层注意力的视觉定位方法

说明书

本发明公开了基于多层注意力的视觉定位方法，该方法基于三个模块实现：1)属性注意模块：提取目标对象的细粒度的属性信息；2)上下文注意模块：提取目标对象的周围环境信息；3)匹配模块：结合上两个模块提取到的视觉信息与文本信息匹配找到目标对象。根据文本指导编码与文本语义信息一致的视觉信息来与文本更好的匹配，其包括局部注意力与全局注意力，局部注意力通过跨模态交互提取目标对象细粒度的属性信息；全局注意力通过建立文本为指导的图卷积模型抽取目标对象的上下文信息。两个注意力的结合可以全方位的抽取不同角度的视觉信息，来与文本信息更好的匹配。

技术领域

本发明涉及一种基于不同层次跨模态注意力的两阶段视觉定位模型，属于结合计算机视觉与自然语言处理的跨模态领域。

背景技术

视觉定位旨在通过给定的文本在对应图像中找到最佳的匹配区域，在实现人机交互、机器人技术等机器智能领域的起到关键作用，因此受到了越来越多的关注。现有模型的定位过程大致可归纳为两部分，一是使用现有目标检测器检测图片的所有对象；二是根据文本描述找到最匹配的那一个。然而，文本描述复杂多样，其内容包括目标对象的类别、属性、空间位置和与其他对象的交互等诸多方面，而利用目标检测器抽取的目标对象的视觉特征并不能完全反应出这些语义信息，造成匹配错误。

发明内容

针对上述问题，本发明提出一种基于多层注意力的两阶段视觉定位模型，它可以根据文本指导编码与文本语义信息一致的视觉信息来与文本更好的匹配，其包括局部注意力与全局注意力，局部注意力通过跨模态交互提取目标对象细粒度的属性信息；全局注意力通过建立文本为指导的图卷积模型抽取目标对象的上下文信息。两个注意力的结合可以全方位的抽取不同角度的视觉信息，来与文本信息更好的匹配。

本发明采用的技术方案为基于多层注意力的视觉定位方法，该方法基于三个模块实现：1)属性注意模块：提取目标对象的细粒度的属性信息；2)上下文注意模块：提取目标对象的周围环境信息；3)匹配模块：结合上两个模块提取到的视觉信息与文本信息匹配找到目标对象。

属性注意模块

属性注意模块侧重于学习目标对象内的细粒度属性信息。具体来说，使用视觉引导的注意来提取与视觉相关的文本信息，并使用文本引导的注意来提取与语言相关的视觉信息，得到与文本信息相一致的视觉特征。包括特征提取、视觉引导注意和文本引导注意三个部分。

特征抽取的过程如下，首先使用目标检测器检测出图片中的所有目标对象使用ResNet提取每个候选对象的视觉特征其中对于文本r，使用双向LSTM提取文本特征其中是每个单词的特征。其中，K表示一张图片中所有实体的个数；o_m表示第m个实体；u_m表示图片中第m个实体的特征；D_u×W×H表示u_m的维度，D_u、W、H分别表示特征图u_m的通道数、宽、高；T表示文本单词的个数；h_t表示第t个单词的特征向量；D_h表示特征向量h_t的维度。

视觉引导注意使用视觉引导的注意来学习单词的注意权重，从而更新文本特征。首先，对特征u_m做平均池化得到实体o_m的特征向量p_m，然后计算p_m与每个单词特征的相似度：

其中，和为可训练参数，D_b为公共空间的维数；是点乘运算；L2Norm()表示归一化操作。通过这种词级相似性，计算每个对象与文本单词之间的细粒度相似性，然后显著地构成可视化引导的语言嵌入z_m：

其中，softmax函数定义于T个单词。