[发明专利]基于注意力机制的轻量化语义分割模型构建方法

权利要求书

1.基于注意力机制的轻量化语义分割模型构建方法，其特征在于，包括以下步骤：

给定图像I，对应的真实标签图GT，构成训练集：

步骤1、模型建立，采用AHSP模块、Channel Attention Sum、Criss-Cross AttentionSum、Channel Split和Concat构建编码阶段，FFM、Channel Attention Sum、Criss-CrossAttention Sum，ReLU函数、Final Prediction构建解码阶段，编码阶段与解码阶段通过Channel Attention Sum连接，得到基于注意力机制的超轻量化语义分割网络；

步骤2、模型训练，将训练集图像I输入到注意力机制的超轻量化语义分割网络中，得到预测图像，将其与真实标签图GT进行对比，计算出交叉熵函数作为损失函数，度量预测值与真实值的误差；通过反向传播算法对步骤1定义的网络模型参数进行迭代优化训练，训练到整个模型收敛为止；

步骤3、模型测试，将测试集图像输入到训练好的网络模型中，得到测试结果；

步骤1中，编码网络包括n个阶段，以AHSP模块作为基本模块，引入Criss-CrossAttention Sum、Channel Split、Concat fuse split，构建相互连接的第一路径和第二路径；对训练集图像I进行n次下采样，每个阶段输出特征图的尺寸为原始尺寸的1/2、1/4、...、1/2ⁿ；

第一路径包括k个AHSP模块，在第一路径的第i-th阶段的第k-th个模块的转换函数表示为输出为其中，i∈{1,2,3,…,n}，k∈{1}；

第二路径包括j个AHSP模块，在第二路径的第i-th阶段的第j-th个模块的转换函数表示为输出为其中，i∈{1,2,3,...,n}，j∈{1,2}，C_i是第i-th阶段的特征通道数；

第一路径和第二路径在每个阶段的第一个AHSP模块输出特征图的计算公式如下：

其中，i∈{1,2,3,...,n}，和为步长为2的下采样；F^1×1(·)为卷积核为1×1的卷积网络转换函数，Split(·)将接收到的特征图沿通道维度分割为两部分，并分别送入和中，得到第一路径特征信息和第二路径特征信息；

第二路径在每个阶段的第2个AHSP模块输出特征图的计算公式如下：

其中，i∈{1,2,3,...,n}；

步骤1中，解码网络包括n个阶段，以FFM模块为基础，引入Channel Attention Sum、Criss-Cross Attention Sum构成解码网络，并引入ReLU函数作为最终的输出预测结果的激活函数；

FFM模块的转换函数为D_i(·)，输出的特征图表示为其中，i∈{1,2,3,…,n}；

S'_i＝F^1×1(X) (5)

其中，S_i'为下采样的最终输出X经过1×1的卷积函数操作后的输出结果，F^1×1(·)为卷积核为1×1的卷积函数，为卷积核为3×3的可分离卷积函数，BatchNorm(·)为批处理归一化函数；

经过编码阶段得到特征图输出为：

则D_i的计算公式过程如下：其中i＝1,2,…,n-1

其中，Upsample(·,t)表示使用双线性插值方法以t的系数对特征图进行采样，CAM(·)表示使用通道注意力机制，S_i”为下一stage的特征图D经过CAM、上采样、FFM操作后的输出；

利用D_i通过1×1卷积得到测试结果P_i，具体如下：

P_i＝Soft max(Upsample(F^1×1(D_i),2ⁱ)) (10)

其中，P_i∈R^H×W为预测的类标签图，Soft max(·)为激活函数，i∈{1,2,3,...,n}。