[发明专利]一种基于双分支特征融合的遥感图像语义分割方法及设备

权利要求书

1.一种基于双分支特征融合的遥感图像语义分割方法，其特征是，包括步骤：

S1. 获取河湖遥感图像原始数据集，对图像进行预处理，划分训练集和测试集；

S2. 将预处理后的图像输入双分支特征融合的语义分割模型；所述的双分支特征融合的语义分割模型包括编码器、解码器，编码阶段为CSwin Transformer和CNN网络两条分支分别从全局和局部方面提取多尺度的信息，两条分支输出的相同尺寸的特征图通过自适应特征融合模块有选择性的融合，并采用自适应特征融合模块作为对称编码器与解码器之间的跳跃连接，两条分支最后阶段提取的特征图在通道上进行拼接后输入深度可分离卷积金字塔模块，该模块用于在高层次特征图上整合多尺度的上下文信息，深度可分离卷积金字塔模块输出的特征图输入通道注意力模块来自适应学习特征图的权重，将学习到的权重向量和通道注意力模块的输入特征进行元素乘积，得到加强后的特征图；通过构建解码器来逐步恢复特征图的大小，相同大小的编码器和解码器之间建立了三个跳跃连接以保持局部细节的传输并加强多尺度特征的交流，通道注意力模块输出的特征和 自适应特征融合模块输出的特征在通道上进行拼接，通过 3×3 的卷积层提取融合特征并减少通道数量，然后通过双线性插值将特征图上采样作为下一层的输入，上述过程执行三次，特征最后扩展为编码器第一阶段输出特征的大小，最后对其应用 3×3 卷积层和上采样操作，得到最终的预测结果；

所述的深度可分离卷积金字塔模块包含五个平行分支，分别为一个全局平均池化层；三个3×3大小的深度可分离空洞卷积，扩张率分别为[2, 3, 6]；一个1×1的卷积，最后五个平行分支提取的特征在通道上串联后得到深度可分离卷积金字塔模块的多尺度输出特征图；

S3. 利用预处理后的训练集对双分支特征融合的语义分割模型进行监督训练；

S4. 利用训练好的语义分割模型，对待分割的遥感影像进行分割，得到最终的结果。

2.根据权利要求1所述的一种基于双分支特征融合的遥感图像语义分割方法，其特征是，步骤S1所述的对图像进行预处理包括标注类别转换、数据增强、数据归一化处理。

3. 根据权利要求1所述的一种基于双分支特征融合的遥感图像语义分割方法，其特征是，步骤S2中CSwin Transformer分支依次为Convolutional Token Embedding即卷积令牌嵌入层， CSwin Transformer块，步长为2的卷积，CSwin Transformer块，步长为2的卷积，CSwin Transformer块，步长为2的卷积，CSwin Transformer块；每个CSwin Transformer块由层归一化、交叉形窗口自我注意力和多层感知机组成。

4. 根据权利要求1所述的一种基于双分支特征融合的遥感图像语义分割方法，其特征是，步骤 S2所述的CNN网络分支使用的是Resnet-34提取多尺度特征，Resnet-34首先通过一个7×7的卷积层，3×3大小、步长为2的最大池化层初步提取细节信息，然后是四个阶段提取特征，每个阶段依次包括3、4、6、3个Bottleneck模块， 每个Bottleneck模块由多个1×1、3×3、1×1的卷积层组成。

5. 根据权利要求1所述的一种基于双分支特征融合的遥感图像语义分割方法，其特征是，步骤S2所述的自适应特征融合模块包括一个1×1的卷积层用于将两分支输出的特征图调整为一致的通道数目，Concat操作层用于合并这两分支特征，一个3×3的卷积层进一步提取融合后的特征，Split操作层将特征分开，两个并行的3×3卷积和Sigmoid函数将像数值归一化到[0,1]之间，Stack操作层来合并其前面的两路并行特征， Softmax函数获取像素级权重，将权重和对应两分支输出的特征图逐个像素相乘，相加后即可得到最后融合了CNN和Transformer特征的特征图。