[发明专利]一种基于空时建模的多尺度变化目标检索方法

说明书

一种基于空时建模的多尺度变化目标检索方法，包括：获取具有空间‑时序多维度的数据并分割为若干子图；采用预训练好的CNN或Transformer模型对各子图进行特征提取获得抽象特征图；将图像对中对应子图获得的抽象特征图执行跨时态的联合全局注意力机制获取对应的交互特征图；对交互特征图执行联合逐像素减法和参数化学习的双分支获取对应的差异特征图；将图像对中对应子图获得的差异特征图进行多尺度融合，获取融合特征图；将图像中对应子图获得的融合特征图依次进行上采样和卷积变换，获取变化检测图。本发明有助于提高多尺度变化目标检索的精度和泛化性能。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于空时建模的多尺度变化目标检索方法。

背景技术

多尺度变化目标检索是指从不同时序中辨别同一空间位置上是否发生变化的过程。作为监测区域状况的关键技术，变化目标检索在城市建设制图、自然灾害评估、环境变化监测等众多任务发挥着显著作用。由于不同时间拍摄，时序数据之间可能存在大量任务无关的干扰，例如季节变换、曝光程度不同、建筑翻新等，这种情况下，需要快速、稳定、鲁棒的方法来处理不同时间获取的空间-时序多维度的数据。

基于手工提取特征的传统变化目标检索方法，表征效果并不理想。而深度学习网络可以通过非线性操作捕获抽象特征，从而更具表征性。例如，卷积神经网络CNN能够从数据中以滑动窗口的机制提取局部特征，而Transformer可以依赖于自注意力机制动态计算全局上下文。然而，CNN仅关注局部而忽略了全局依赖，Transformer在各层均捕获相似的全局特征而造成冗余。因此，在本方明中，我们提出在卷积特征图上执行改进的自注意力机制，来捕获具有不同表示。

发明内容

本发明的目的在于针对上述问题，提出一种基于空时建模的多尺度变化目标检索方法，针对具有空间-时序多维度数据中检索多尺度变化目标，通过跨时态的联合全局注意力机制抑制无关差异，并构建联合逐像素减法和参数化学习的双分支学习差异，最后通过轻量的全局空间注意力机制完成多水平特征融合，有助于提高多尺度变化目标检索的精度和泛化性能。

为实现上述目的，本发明所采取的技术方案为：

本发明提出的一种基于空时建模的多尺度变化目标检索方法，包括如下步骤：

S1、将遥感图像对X₁和X₂分割为若干相同空间大小的图像块；

S2、利用预训练网络ResNet18模型对各子图提取抽象特征图F₁和F₂，ResNet18模型各阶段输出尺寸包括4W×4H×d、2W×2H×d和W×H×d，其中，W、H和d分别为宽度、高度和通道深度；

S3、通过跨时态的联合全局注意力机制对F₁和F₂一起建模，所述跨时态的联合全局注意力机制操作具体如下：

S31、将相同尺寸的特征图F₁和F₂线性展开获得(查询Q向量，键K向量，值V向量)形式的向量组(Q₁,K₁,V₁)和(Q₂,K₂,V₂)，以W×H×d为例，Q、K和V的尺寸均为N×d，N＝W×H；

S32、将Q₁和Q₂通过线性函数将其压缩为(N/2)×d，然后再将其拼接成为一个新的查询向量Q_joint，尺寸为N×d；

S33、基于交换后的查询向量Q_joint与S31步骤中的键-值对向量组(K₁,V₁)和(K₂,V₂)分别计算全局注意力输出F_joint-1和F_joint-2，尺寸均为W×H×d；