[发明专利]一种基于双分支特征融合的遥感图像语义分割方法及设备

说明书

本发明涉及一种基于双分支特征融合的遥感图像语义分割方法，属于遥感图像处理技术领域。方法主要是将预处理后的图像输入双分支特征融合的语义分割模型，模型包括编码器、解码器、中间的深度可分离卷积金字塔模块，编码阶段为CSwin Transformer和CNN网络两条分支分别从全局和局部方面提取多尺度的信息，两条分支输出的相同尺寸的特征图通过自适应特征融合模块有选择性的融合，并采用自适应特征融合模块作为对称编码器与解码器之间的跳跃连接。本发明充分利用了CNN和Transformer分别在提取局部信息和全局信息的优势，使得模型能够适应遥感图像中的多种场景，有效地解决高分辨率河湖遥感的语义分割问题。

技术领域

本发明涉及一种遥感图像语义分割方法，特别涉及一种基于双分支特征融合的遥感图像语义分割方法及设备，属于高分辨率遥感图像处理技术领域。

背景技术

目前国内河湖区域的管理方面存在未经批准围垦湖泊、非法侵占水域、种植阻碍行洪的林木及高秆作物、违规采砂、乱扔乱堆垃圾等诸多问题。这些违法违规行为给生态坏境以及人民的安全带来了极大的隐患。

航空和卫星技术的快速发展使得高分辨率遥感图像的获取越来越容易，遥感图像处理技术已在生态环境保护、城市规划、环境监测等多个领域发挥出重要的作用。语义分割的核心目标是识别图像中每个像素的类别，该技术作为一种协助河湖环境治理的可行方案受到了广泛的关注。传统的图像分割算法通常依靠物体的颜色、纹理、光谱等手工设计特征来实现分割，虽然这类方法取得了一定的效果，但是用于高分辨率的遥感图像往往存在泛化能力差、分类精度低等诸多缺点，难以解决现实中复杂环境下遥感图像的分割问题。

随着深度学习技术的兴起，遥感图像语义分割技术取得显著进展。卷积神经网络（CNN）因其强大的特征表示和数据拟合能力，基于CNN结构的分割方法已经成为了主流方案。然而，由于CNN在捕捉全局信息方面存在固有的局限性，同时地面物体具有大尺度变化和不规则的形状，高分辨率遥感图像的语义分割任务仍然是一项具有挑战性的任务。为了进一步提高分割精度，常见的解决方案是增加注意力机制来获取长距离依赖关系，但仍然是在局部区域计算，所以获得的全局信息也非常有限。Transformer是一种通过自我注意力机制学习特征的结构，研究证明在对大规模数据集进行预训练的条件下，Transformer在语义分割中取得了比基于CNN结构更好的准确性。尽管Transformer具有强大的特征提取能力，但也需要大量的内存和计算资源。自我关注的计算复杂性随着图像大小的平方倍增加，这使得基于Transformer的结构难以处理高分辨率的图像。

CNN可以很好地获得局部信息，但由于卷积的感受野有限，所以缺乏全局信息。Transformer是完全基于注意力的架构，具有强大的全局关系的表示能力，但在获取局部细节方面比较弱。现有的技术中已有一些方法尝试结合CNN和Transformer来进行分割，但大多都是将CNN生成的高层次特征图输入Transformer进一步处理；或者是Transformer作为编码器提取图像特征，CNN作为解码器逐步上采样到原始图像大小。这些方法都没有充分利用二者各自的优势，反而在一定程度上破环了CNN原有的局部信息和Transformer原有的全局信息。此外，CNN输出的是特征图，Transformer处理的是序列信息，如何有效地融合特征图和序列信息还需进一步探究。

发明内容

本发明的目的是克服上述不足而提供一种基于双分支特征融合的遥感图像语义分割方法，为了充分利用CNN和Transformer的优势，以同时捕捉局部特征和全局信息，设计两个分支提取信息并通过自适应特征融合模块（AFFM）来有效融合两个分支的特征，通过一个整合了跳跃连接、深度可分离卷积金字塔模块（DASPP）和通道注意力模块的U型解码器设计用来保留局部细节并逐步恢复特征图的分辨率，从而提高高分辨率河湖遥感图像语义分割的精度。

本发明采取的技术方案为：

一种基于双分支特征融合的遥感图像语义分割方法，包括步骤：