[发明专利]基于AdaptGAN的低照度语义分割方法

权利要求书

1.一种基于AdaptGAN的低照度语义分割方法，其特征在于，包括如下步骤：

1)整合数据集：基于公开的Cityscapes数据集，采用模拟低照度环境下的成像特点，得到低照度环境下的数据集Cityscapes-Night，将Cityscapes数据集作为源域，Cityscapes-Night数据集作为目标域；

2)训练光照正则化网络，包括如下步骤：

1-2)将所有的正常光照图片和低照度图片进行预处理，即将正常光照图片和低照度图片高度和宽度统一缩放至960×960像素；

2-2)将正常照度图像和低照度图像输入到光照正则化网络进行处理，首先光照正则化网络从两种不同照度图像的共同潜在空间中提取到目标域和源域的共同表征，然后用光照正则化网络提取到的特征图与输入图像相加得到光照正则化图像；

3-2)计算输入图像与光照正则化图像之间的亮度损失，损失函数如公式(1)所示：

L_light＝L_tv+L_ssim (1)，

其中L_light为亮度损失，L_tv为全变差损失，L_ssim为结构相似度损失，全变差损失如公式(2)所示：

其中I∈{I_s,I_t}表示输入的图片，I_s是源域的输入图片，I_t是目标域输入图片，R∈{R_s,R_t}表示光照正则化网络的输出，R_s是源域图片对应的输出，R_t是目标域图片对应的输出，N为图片对应的像素点个数，和分别代表相邻像素之间沿x和y方向的强度梯度，||·||₁是L₁范数即每个像素点计算得到的值的绝对值求和，结构相似度损失具体为公式(3)所示：

其中，u_I和u_R分别表示I和R的均值，σ_I和σ_R表示标准差，σ_IR表示协方差，C₁＝0.01²，C₂＝0.03²；

3)训练语义分割网络：

语义分割网络设有顺序连接的高分辨率残差网络、并行的多尺度特征聚合模块及自注意力模块、上采样和分类预测模块，其中，自注意力模块包括并行的通道自注意力模块和空间自注意力模块，

实现过程为：

1-3)训练高分辨率残差网络：将光照正则化图像送入高分辨率残差网络进行特征提取，高分辨率残差网络从源领域和目标领域共同的潜在空间中提取特征；

2-3)训练多尺度特征聚合模块：首先将高分辨率残差网络产生的特征图经过一个1×1卷积块进行通道降维，再将降维后的特征图送入多尺度特征聚合模块进行多尺度上下文特征提取和特征融合；

3-3)训练空间自注意力模块：将高分辨率残差网络的输出特征图送入空间自注意力模块进行空间位置上下文关系建模；

4-3)训练通道自注意力模块：将高分辨率残差网络的输出特征图送入通道自注意力模块进行通道之间上下文关系建模；

5-3)将通道自注意力模块得到的特征图与空间自注意力模块的输出特征图进行相加融合，获得自注意力模块的最终输出特征图，然后用多尺度特征聚合模块的输出特征图与自注意力模块的输出特征图进行通道拼接；

6-3)首先将5-3)过程得到的输出特征图用大小为1×1卷积块进行特征融合，并将输出通道数调整到数据集的类别数，然后对特征图进行上采样，将特征图的分辨率恢复到与输入图片相同，最后采用softmax函数归一化输出，对于每个像素位置，选取softmax后最大概率的那个类别作为预测类别，从而得到最终的语义分割结果；

7-3)计算源域正常照度图像的分割预测结果与源域正常照度图像的标签之间的损失，损失函数如公式(4)所示：

其中N是像素点个数，C是类别数，是二值指示器，表示第i个像素点以及第c个类别的真实标签，表示网络的预测值；

4)训练判别器网络：包括：

1-4)将正常照度图像和低照度图像的语义分割结果送入判别器，判别器对输入的分割结果进行识别，判断出结果是正常照度图像还是低照度图像；

2-4)计算判别器的判断结果与输入图像的正确判别标签之间的损失，损失函数如公式(5)所示：

其中，D表示判别器，P_s表示源域的预测，P_t表示目标域的预测，r为源域的标签，f为目标域的标签。