[发明专利]融合局部与全局特征的快速语义分割网络和语义分割方法

权利要求书

1.一种融合局部特征与全局特征的快速语义分割网络，其特征在于：包括第一分支、第二分支和MSFFM多尺度融合模块；

第一分支为CNN分支，包括多个卷积层，用于提取图像的局部特征信息；

第二分支为Transformer分支，包括LN层、多个Outlooker注意力层和一系列转换器MLP，用于通过下采样和自注意力机制提取图像的全局特征信息和上下文特征信息；

第一分支和第二分支输出的特征信息通过多个双边连接以交互的方式融合；第二分支的每次计算输出与第一分支的输出进行交互，用于让第一分支更好的学习全局特征且不增加计算复杂度；

第二分支的每次计算输出连接到MSFFM多尺度融合模块，MSFFM多尺度融合模块用于融合通过交互方式融合后的第一分支和第二分支输出的特征信息，对信息做多尺度的融合操作。

2.根据权利要求1所述的一种融合局部特征与全局特征的快速语义分割网络，其特征在于：第一分支中，

设X为输入的特征图像，Conv为卷积操作，BN为层归一化操作，ReLU为激活操作；每个卷积层包括一次Conv操作、一次BN操作和激活操作ReLU函数对其进行；Conv操作用于提取特征图的特征；BN操作用于避免图像在进行梯度运算的过程中产生梯度爆炸以及梯度消失现象；ReLU函数用于将每一层的输出控制在预设范围内，并使其数值为小于0的负数；

则卷积层的公式为：

X′＝F.ReLU(BN(Conv(X)))         (1)。

3.根据权利要求2所述的一种融合局部特征与全局特征的快速语义分割网络，其特征在于：第二分支中，

设LN为层标准化；OutlookerAtt为Outlooker注意力层，用于进行空间编码生成精细化的表示；MLP用于进行通道间信息交互聚合全局信息，建立远距离的依赖关系；每个部分前都有块嵌入模块用于将输入映射到指定形状；输入的特征图像X依次经过LN层、Outlooker模块和MLP提取该图像的全局特征：

X′＝OutlookerAtt(LN(X))+X      (2)，

Z＝MLP(LN(X′))+X′              (3)。

4.一种基于权利要求1至3中任意一项所述的融合局部特征与全局特征的快速语义分割网络的语义分割方法，其特征在于：包括以下步骤：

S1：设输入的待进行语义分割的图像为A；对图像A进行双分支操作，分别通过CNN操作和Transformer操作提取图像的局部特征和全局特征；

S2：将双分支的输出进行交互后输入到MSFFM多尺度融合模块中，对CNN操作提取的局部特征和Transformer操作提取的全局特征进行不同尺度的融合，得到融合了全局特征信息以及局部特征信息的特征图。

5.根据权利要求4所述的语义分割方法，其特征在于：所述的步骤S1中，具体步骤为：

S11：图像A经过两次带下采样的卷积操作，产生分辨率为图像A的1/4的特征图A1，并分别输入到CNN分支和Transformer分支；

S12：Transformer分支产生分辨率为图像A的1/8的特征图A2；将特征图A2输入到MSFFM多尺度融合模块；同时对特征图A2做带上采样的卷积操作后再与特征图A1进行相加操作，并输入到CNN分支；

S13：对经过CNN分支的卷积操作后得到的新的特征图进行一次带下采样的CNN操作，然后与特征图A2进行相加操作；

S14：Transformer分支使用Transformer操作来融合相加起来的特征图；

S15：重复步骤S12至S14三次，Transformer分支分半产生特征图A2、特征图A3和特征图A4，对应的分辨率分别为图像A的1/8、1/16和1/32；

S16：对特征图A4做带上采样的卷积操作后再与CNN分支上一步输出的特征图进行相加操作，并输入到CNN分支经过卷积操作输出特征图A5，其分辨率为图像A的1/4。