[发明专利]一种基于空时建模的多尺度变化目标检索方法

权利要求书

1.一种基于空时建模的多尺度变化目标检索方法，其特征在于：所述基于空时建模的多尺度变化目标检索方法包括如下步骤：

S1、将遥感图像对X₁和X₂分割为若干相同空间大小的图像块；

S2、利用预训练网络ResNet18模型对各子图提取抽象特征图F₁和F₂，ResNet18模型各阶段输出尺寸包括4W×4H×d、2W×2H×d和W×H×d，其中，W、H和d分别为宽度、高度和通道深度；

S3、通过跨时态的联合全局注意力机制对F₁和F₂一起建模，所述跨时态的联合全局注意力机制操作具体如下：

S31、将相同尺寸的特征图F₁和F₂线性展开获得(查询Q向量，键K向量，值V向量)形式的向量组(Q₁,K₁,V₁)和(Q₂,K₂,V₂)，以W×H×d为例，Q、K和V的尺寸均为N×d，N＝W×H；

S32、将Q₁和Q₂通过线性函数将其压缩为(N/2)×d，然后再将其拼接成为一个新的查询向量Q_joint，尺寸为N×d；

S33、基于交换后的查询向量Q_joint与S31步骤中的键-值对向量组(K₁,V₁)和(K₂,V₂)分别计算全局注意力输出F_joint-1和F_joint-2，尺寸均为W×H×d；

S4、对相同尺寸的特征图F_joint-1和F_joint-2执行联合逐像素减法和参数化学习的双分支差异捕获操作获取差异特征图F_sub和F_cat；

所述双分支差异捕获操作具体如下：

S41、在逐像素减法分支中，计算相同尺寸的特征图F_joint-1和F_joint-2之间逐像素的差值，获得差异特征图F_sub；

S42、在参数化学习的分支中，先通过沿着通道方向堆叠相同尺寸的特征图F_joint-1和F_joint-2，然后再使用多个保持尺寸不变的卷积层进行非线性特征捕获，获得差异特征图F_cat；

S5、针对多尺寸的差异特征图F_sub和F_cat，使用轻量的全局空间注意力进行多尺寸的特征图融合，以尺寸包括W×H×d、2W×2H×d和4W×4H×d的多尺寸的差异特征图F_sub为例，特征图融合操作具体如下：

S51、将尺寸为W×H×d的特征图F_sub-1插值上采样，并与尺寸为2W×2H×d的特征图F_sub-2沿着通道方向进行堆叠，然后通过轻量的全局空间注意力完成初步融合；

S52、将S51步骤中中初步融合的特征图插值上采样，并与尺寸为4W×4H×d的特征图F_sub-3沿着通道方向进行堆叠，然后通过轻量的全局空间注意力完成进一步融合；

S6、最后将特征融合后的特征图进行插值上采样到S1步骤中图像块的尺寸，并通过卷积变换和Sigmoid函数将变化目标像素变为1，非变化区域像素为0，完成变化目标检测。

2.如权利要求1所述的基于空时建模的多尺度变化目标检索方法，其特征在于：步骤S1中，所述图像块的尺寸为256×256。

3.如权利要求1所述的基于空时建模的多尺度变化目标检索方法，其特征在于：步骤S2中，ResNet18模型各阶段输出尺寸为64×64×64、32×32×128和16×16×256。