[发明专利]基于多任务注意力机制的高分辨率遥感图像地物提取方法

说明书

本发明公开了一种基于多任务注意力机制的高分辨率遥感图像地物提取方法。该方法基于多模态数据的特征融合思路，采用多任务架构将高分辨遥感图像的RGB通道和IR通道分别从多任务网络架构的两个分支同时输入，同时将多任务注意网络模块融合进入编码器部分中，旨在编码过程中能够充分结合来自RGB和IR通道的互补信息，形成用于分割的判别表示，增强注意力机制能力，由此大大提高了地物提取模型提取高分辨率遥感图像中地物目标的性能。

技术领域

本发明属于遥感影像处理领域，具体涉及一种从高分辨率遥感图像中提取地物的方法。

背景技术

随着航空航天和传感器技术的快速发展，遥感图像的空间分辨率已经从米级向亚米级甚至更高水平突破，目前，通过高分系列卫星采集的亚米级高分辨率遥感图像已经为土地资源规划利用、公共安全监测、防灾减灾、环境保护等重要领域提供信息服务和数据支撑。

目前该领域的研究主要集中于对高分辨率遥感图像进行分类，相比于中、低分辨率遥感图像，高分辨率遥感图像拥有更加丰富和细致的空间信息、几何结构和纹理信息，目标更为清晰。因此大量高分辨率遥感图像被应用于国土规划、工程建设及抢险救灾等领域.高分辨率遥感图像包含丰富的场景语义信息，地物的多样性、空间分布的复杂性提高了数据集的类间相似性和类内多样性，给分类任务带来诸多挑战。

在业界，对于地物分类的方法主要有以下三种方法：

(1)提取高分辨率遥感影像的手工特征作为低层局部特征；

(2)对局部特征进行编码，能够描述高分辨率影像的中层全局特征；

(3)利用卷积神经网络来提取高分辨率影像的高层特征。

传统的分类方法种，低层手工特征包括光谱特征、纹理特征等。常用的光谱特征包括图像的灰度值、灰度值均值、灰度值方差，纹理特征包括不变纹理指数、共生矩阵等。针对图像的结构特征，在早期可见光图像的分类识别中利用了SIFT特征，并且SIFT特征对噪声、光照、目标遮挡、杂物场景有较好的鲁棒性，有了这些优点，SIFT也能够对高分辨率遥感图像的特点进行有效表达。中层特征的获得是通过对高分辨率影像的低层手工特征进行编码，经过编码得到的全局特征能够作为高分辨率影像的中层特征。常用的方法有稀疏编码、视觉词袋模型。高层特征指的是利用深度神经网络对图像进行特征提取到的特征。近年来，深度学习推动了计算机视觉领域的发展，而对于图像分类任务卷积神经网络一般被设计为端到端的模型，可以利用多层次的网络，多个卷积核对图像特征进行提取，代替了烦琐的人工特征。得益于多层结构和多卷积核，模型可以从高分辨率影像中提取更抽象、更有区分性的高层特征，从而得到更好的分类结果。

自从卷积神经网络在高分辨率遥感图像分类领域兴起后，为了提升图像中目标提取的准确性，Paisitkriangkrai等人结合将卷积神经网络与条件随机场结合。另一方面，针对VHR遥感影像分类中存在的类内差异大的问题，提出了基于目标级分割的方法。同时，也在研究如何挖掘与图像在同一区域内采集的其他数据的潜在信息，以提高语义分割的性能。例如，Kaiser等人使用相应的OpenStreetMap(OSM)矢量数据作为SegNet输入的一部分，提供了比其他配置更好的性能。

以上基于深度卷积神经网络的方法在处理高分辨遥感图像大多采用以下两种方式：一是随意舍弃影像通道，二是粗略组合所需数据。这样做将会导致两个主要问题:一是高分辨遥感图像的每个通道都具有丰富的地物信息。采用部分图像通道作为分割模型的输入，容易造成信息的丢失；二是来自同一幅影像的异构在光谱和空间上具有互补性。这种数据的任意组合就不会突出那些应该具有的特征。

因此，由于高分辨遥感影像大多是以四通道影像为主，但是目前高分辨率遥感图像地物提取模型针对影像大多采用粗略随意的组合图像通道，因此无法突出图像中辨别性特征。如何实现高分辨率遥感图像中地物目标准确的语义分割，是目前亟待解决的技术问题。

发明内容