[发明专利]基于非局部信息注意力机制的交叉视角地理定位方法

权利要求书

1.基于非局部信息注意力机制的交叉视角地理定位方法，其特征在于，包括以下步骤：

步骤一：使用ResNet-50网络模型，，分别提取无人机视角和卫星视角图像的特征；

步骤二：采用方环分割方法划分特征，根据图像到图像中心的距离，把图像分成八部分，分离后进行平均池化，融合上下文信息，方环分区的中心可以近似地看作是特征映射的中心，八个特征部分最终成为八个维度相同的矩阵，其中通道维的信息更加重要；

步骤三：利用非局部信息注意力机制模块，生成每个特征部分的自注意力权重，并与原来特征矩阵相乘，得到自注意力运算后特征矩阵，即自注意力特征；

步骤四：步骤二中每个特征部分再分别与最近邻的两个特征部分做互注意力运算，生成两个互相关矩阵权重，并分别与对应特征矩阵相乘，得到互注意力特征；在自注意力和互注意力的计算过程中，引入多头机制，提高计算效率；

步骤五：将步骤三中得到的自注意力特征和步骤四中得到的互注意力特征进行加权求和，得到最终的新特征矩阵，即新特征图；优化模型，融合全局信息，提高网络性能。

2.根据权利要求1所述的基于非局部信息注意力机制的交叉视角地理定位方法，其特征在于，步骤一具体方法如下：

利用ResNet-50神经网络模型，分别提取卫星视角图像和无人机视角图像的特征；去掉原ResNet-50网络模型中最后的池化层和分类层，最终分别得到卫星视角图像和无人机视角图像的特征图，维度为batch*16*16*2048。

3.根据权利要求2所述的基于非局部信息注意力机制的交叉视角地理定位方法，其特征在于，步骤二具体方法如下：

对步骤一得出的特征图进行环形分割，分别将两个视角的全局特征分割成八个部分，分别得到对应batch*h*w*2048大小的特征；接着分别对卫星视角图像和无人机视角图像的八个特征矩阵做平均池化，从而得到每个视角图像的八个新特征矩阵，调整维度后使其通过一个输出为512通道的线性层，最终每个特征矩阵维度被调整为batch*512*1*1，这里同一视角八个新特征矩阵可表示为fⁱ(i∈{1,2,3,4,5,6,7,8})，上标i表示距中心的第i部分；为了区分两个视角，将卫星视角和无人机视角新生成的特征分别表示为和

4.根据权利要求3所述的基于非局部信息注意力机制的交叉视角地理定位方法，其特征在于，步骤三具体方法如下：

将卫星视角和无人机视角图像在步骤2中分别得到的八个特征矩阵送入非局部信息注意力机制模块；在非局部信息注意力模块中，八个特征部分先分别做自注意力运算，形成对应的掩码层Mask，即特征图权重；以特征矩阵f²为例，首先做自注意力运算，生成掩码层Mask₂₂，表示为M₂₂；将权重M₂₂与原特征f²相乘，得到自注意力运算后的新特征矩阵t²²。

5.根据权利要求4所述的基于非局部信息注意力机制的交叉视角地理定位方法，其特征在于，步骤四具体方法如下：

每个特征部分同时再和最相邻的两个特征部分做互注意力运算；同样以特征矩阵f²为例，f²再分别与f¹和f³做互注意力运算，生成掩码层Mask₂₁和Mask₂₃，分别表示为M₂₁，M₂₃；并将权重M₂₁与原特征f¹相乘，权重M₂₃与原特征f³相乘，得到互注意力运算后的新特征矩阵t²¹，t²³；在自注意力和互注意力的计算过程中，引入多头机制，提高计算效率。

6.根据权利要求5所述的基于非局部信息注意力机制的交叉视角地理定位方法，其特征在于，步骤五具体方法如下：

对得到自注意力新特征矩阵和互注意力新特征矩阵分别赋予一个线性加权系数，加权求和后得到最终的特征矩阵；例如，对步骤三、四中生成的特征矩阵t²¹，t²²，t²³，加权求和，得到最终特征矩阵F₂，为了让模型更加稳定，在F₂后面接入一个简单的MLP层；经过以上流程，最终得到两个视角图像的各八个新特征Fⁱ(i∈{1,2,3,4,5,6,7,8})；同样为了区分两个视角，将卫星视角和无人机视角新特征分别表示为和在计算的过程中，引入多头机制，提高计算效率，并且对生成的自注意力和互注意力特征做Softmax归一化，增强模型鲁棒性；最后将新特征接入线性分类器，加载完整模型，完成地理目标检索任务。