[发明专利]一种低光照场景的语义分割方法

摘要

一种低光照场景的语义分割方法，属于计算机视觉技术领域。本发明将正常图像的语义分割问题当做源域问题，低光照图像的语义分割问题当做目标域问题，利用迁移学习中的特征迁移的方法，充分发挥正常场景图像的信息充足的优势，将正常场景中的有用信息提取出来，并将这些有用信息与低光照图像的特征信息进行转换的结合，获取更多的有助于语义分割的图像信息，从而训练深度神经网络。基于这一思想，在生成对抗网络的基础之上，利用迁移学习的方法，设计并实现了用于低光照场景直接语义分割的网络模型。利用这一模型，能够有效解决低光照图片的语义分割任务。

主权项

1.一种低光照场景的语义分割方法，其特征在于，步骤如下：/n(一)基于迁移学习的语义分割网络架构/n所述基于迁移学习的语义分割网络包括以下四个部分：/n编码器部分：语义分割网络包含两个编码器，编码器C和编码器S；编码器C用于提取低光照图像的低光照图像特征信息，编码器C的前半部分由采用了ResNet的网络结构前半部分，包含50个卷积层以及残差和Bottleneck结构，用来减小参数加速收敛，并能够获得包含2048个通道的特征图；随后将获得的2048个通道的特征图进行实例标准化，并对特征进行正则化，然后通过1×1的卷积层将特征通道数缩小到256个，得到低光照图像的特征图F_c；编码器S用于提取正常场景图像风格特征的网络部分，其包括不同卷积核大小卷积层，不包括池化层，使用四个步长为2的卷积层，能达到缩小特征维度、减少网络参数的作用；随着卷积的进行，特征的通道数也在不断的增加到256个通道，然后通过一个全局池化层一步缩小特征维度，最后使用一个全连接层得到一个代表正常场景图像风格特征的256维的列向量F_s；/n特征迁移网络部分：黑天场景的特征图和白天场景的特征图在网络的处理下整体上都满足正态分布；使用的特征迁移的方法是对改变图像特征的正态分布的参数：均值和方差；在正常图像的均值和方差的获取上，使用网络学习的方式获取，对于输入的正常图像的特征F_s，利用两个多层感知机MLP分别学习两个列向量来分别代表各个特征层每层的均值s_mean和方差s_val；对于低光照图像部分，对于输入的特征F_c则直接计算其均值c_mean和c_val，然后通过公式(1)进行特征的转换，得到转换后的特征/n /n输入的低光照图像特征F_c计算完均值c_mean和方差c_val后经过公式(1)进行两次转换特征转换，将得到的特征与转换前的特征F_c相加得到结果的过程称作一次特征适应，共进行了3-5次特征适应的过程，得到最终转换后的低光照特征F_{c_s}；/n判别器部分：判别器的是一个二分类的分类网络结构，分类为0代表夜晚场景，分类1代表正常白天场景；判别器用来判别转换后的特征反编码后的结果属于夜晚场景还是白天场景，使得判别器无法判别特征转换后的特征属于哪种场景，或者使得判别器对转换后的特征评价竟可能的接近于1，说明转换比较成功，其损失函数用于监督网络的训练；判别器网络主要由多个步长为2的卷积层组成，不断缩小维度来获取最终的预测概率；/n语义分割部分：对于语义分割部分，使用DeepLabv3网络的中提出的金子塔池化ASPP结构；/n(二)数据集采集/n在数据集方面，本发明在Cityscapes数据集的基础之上利用Photoshop软件和Matlab人工合成低光照的场景数据集，并结合原有的公开数据组成完整的训练数据；/n(三)训练步骤/n首先需要对编码器C和编码器S分别输入低光照的图像和用于提取特征信息的正常场景的图像；编码器C部分提取低光照场景图像中的特征后输入到特征迁移网络部分；编码器S部分提取正常场景的特征后经过两个多层感知机MLP，将最终得到的特征与编码器C部分输出的特征经过特征迁移部分进行一个特征的融合并迁移；低光照场景图像的特征经过特征迁移部分之后得到一个近似正常场景图像的特征分布值，然后与正常场景图像的特征值同时输入到判别器部分，来判断特征迁移是否成功，迁移成功，图像则从低光照转变为较为正常的场景图像，迁移学习后的特征就通过最后的语义分割部分产生最终的结果，即低光照图像对应的语义分割结果；/n训练的分割网络的优化过程要分为两步，分别对生成器G和判别器D进行优化；判别器输出的预测概率只用于训练过程中损失函数的计算以达到网络监督的作用，在测试过程中判别器部分将不再进行计算；其中生成误差L_G由两个损失函数组成：分割的预测误差L_seg和转换后特征的判别误差D_g；对于误差D_g，使用最小二乘损失，其函数表示如公式(2)：/nD_g＝|pre_g-1| (2)/n其中，pre_g表示判别器网络对输入的转换后的特征的概率预测，而L_seg本发明依然使用交叉熵损失函数，如公式(3)所示：/n /n其中，M表示类别的数量，y_c表示变量的类别判断，类别相同则为1，不同则为0，p_c表示对于观测样本属于类别c的预测概率；完整的生成误差L_G的函数表示如公式(4)所示：/nL_G＝L_seg+D_g (4)/n判别误差L_D同样也是由两部分组成，分别为正常图像的特征的判别器的预测损失和转换后特征的判别器预测损失，其函数表示如公式(5)所示：/nL_D＝|pre_n-1|+pre_g (5)/n其中，pre_n表示正常图像的特征的判别器的预测损失；/n将训练数据多线程分批输送到待训练的网络模型中，并按照公式(4)和公式(5)来分别计算网络的生成器误差和判别器误差；最后使用反向传播的梯度下降方法和Adam优化器迭代更新网络参数，直到达到预定迭代次数或者是多伦迭代后训练误差不再发生变化后停止，完成网络的训练；/n网络的初始参数要导入ResNet和DeepLabV3网络对应层的参数进行网络的初始化，加速网络收敛；对于生成损失L_G和判别损失L_D，使用优化器Adam分别进行反向传播的优化，每次循环分别优化一次，使网络不断的收敛。/n