[发明专利]基于多层注意力的视觉定位方法

权利要求书

1.基于多层注意力的视觉定位方法，其特征在于，该方法基于三个模块实现：1)属性注意模块：提取目标对象的细粒度的属性信息；2)上下文注意模块：提取目标对象的周围环境信息；3)匹配模块：结合上两个模块提取到的视觉信息与文本信息匹配找到目标对象。

2.根据权利要求1所述的基于多层注意力的视觉定位方法，其特征在于，属性注意模块侧重于学习目标对象内的细粒度属性信息；使用视觉引导的注意来提取与视觉相关的文本信息，并使用文本引导的注意来提取与语言相关的视觉信息，得到与文本信息相一致的视觉特征；包括特征提取、视觉引导注意和文本引导注意三个部分；

特征抽取的过程如下，首先使用目标检测器检测出图片中的所有目标对象使用ResNet提取每个候选对象的视觉特征其中对于文本r，使用双向LSTM提取文本特征其中是每个单词的特征；其中，K表示一张图片中所有实体的个数；o_m表示第m个实体；u_m表示图片中第m个实体的特征；D_u×W×H表示u_m的维度，D_u、W、H分别表示特征图u_m的通道数、宽、高；T表示文本单词的个数；h_t表示第t个单词的特征向量；D_h表示特征向量h_t的维度；

视觉引导注意使用视觉引导的注意来学习单词的注意权重，从而更新文本特征；首先，对特征u_m做平均池化得到实体o_m的特征向量p_m，然后计算p_m与每个单词特征的相似度：

s_m，t＝L2Norm(W_b1p_m)⊙L2Norm(W_b2h_t)

其中，和为可训练参数，D_b为公共空间的维数；⊙是点乘运算；L2Norm()表示归一化操作；通过这种词级相似性，计算每个对象与文本单词之间的细粒度相似性，然后显著地构成可视化引导的语言嵌入z_m：

其中，softmax函数定义于T个单词；

文本引导注意是学习与文本相关的视觉特征，其中更新后的文本特征z_m与视觉特征图u_m中的每个位置相连，并通过多层感知器学习注意权重；这些公式表示为：

其中，为特征图um中具有坐标位置(i，j)的特征向量且i∈(1，W)，j∈(1，H)；[，]表示连接操作；为MLP的可训练参数；D_z为超参数；这样，我们就可以得到语义视觉特征，并将其定义为