[发明专利]一种特征融合系数可学习的图像语义分割方法

说明书

本发明涉及一种特征融合系数可学习的图像语义分割方法，该方法步骤主要包括先在图像分类数据集上训练一个由图像到类别标签的深度卷积网络分类模型；将分类模型中的全连接层类型转为卷积层类型，得到全卷积深度神经网络模型，进行像素级别的类别预测；然后扩展卷积层分枝，给每一个分支设置一个系数，特征融合层按照系数比重进行融合，将此系数设置为可学习的状态；其次在图像语义分割数据集上进行微调训练，同时进行系数学习，得到语义分割模型；经微调训练和融合系数学习，可得到1至20组融合系数；最后在每组中选出系数最大的那个分支，进行最终组合，再次微调训练和系数学习，得到最终的语义分割模型。本发明使特征融合效果达到最好的状态。

技术领域

本发明涉及深度学习及计算机视觉技术领域，具体涉及一种特征融合系数可学习的图像语义分割方法。

背景技术

过去的几年中，深度卷积神经网络在计算机视觉领域，包括图片分类、目标检测、姿态估计以及语义分割任务上，取得了非常大的性能提升。当下，进行语义分割任务的主要方式是使用深度神经网络进行密集的像素预测；同时也有一些工作，会结合条件随机场方法，对语义分割结果进行后处理，使分割结果更精细一些。之前，大部分使用深度神经网络进行语义分割方法，是先从图像中检测出一些物体候选框，之后将这些框与类别结合起来，作为分割结果。自从，全卷积神经网络出现以后，便快速的被很多人所使用。全卷积深度神经网络可以直接进行像素级别的类别预测，同时可以，端到端的进行训练。经过全卷积网络预测出的语义分割结果还有些粗糙，Chen L C等人，将这种结果结合图模型的方法，使用全连接条件随机场做进一步后处理，使分割结果更精细。

为了使性能进一步提升，许多基于深度神经网络的工作通过特征融合的方法，以得到更丰富的语义特征信息。Long J等人在反卷积的过程中不断融合其他层的特征，使得分割结果趋于精细。Xie S等人在使用深度神经网络进行边界检测任务时，将所有卷积层的特征都融合了起来，得到了较好的边界检测性能。Chen L C、Zhao H等人通过融合不同尺度的语义特征进行语义分割任务，取得了很不错的效果。Shuai B等人在全卷积网络工作的基础上，扩展出更多的卷积层，然后将这些卷积层的输出特征融合起来，使的全卷积网络的性能有了很大的提升。特征融合已是提升语义分割性能的一个基础的方法。通过融合更多的语义特征，能获得更多的语义信息。然而，并不是融合特征越多越好，语义特征之间存在着大量的冗余信息，一维的融合更多的特征，会增加计算量和计算时间，同时也可能无助于性能的提升；同时，融合哪些层的特征，并没有明确的可以依据的方法。基本都是凭借直觉和经验来选层，是比较盲目的。本发明，通过一种融合系数可学习的方法，一方面可以让各个特征进行最优比例的进行融合，另一方面，通过判断学出的融合融合系数的大小，可以判断该层特征的的重要性，从而可以为筛选层提供了依据。

发明内容

本发明的目的在于提高现有语义分割方法的精度，提供一种特征融合系数可学习的图像语义分割方法，本发明通过在训练分割模型时，对特征融合系数进行学习，从而达到选择较优的层的特征进行融合和融合时按照最优的融合比例，使语义分割性能不断提升的目的。

本发明的技术方案:一种特征融合系数可学习的图像语义分割方法，该方法包括以下步骤：

步骤(1)：在图像分类数据集上训练一个由图像到类别标签的深度卷积网络分类模型；

步骤(2)：将深度卷积神经网络分类模型中的全连接层类型转为卷积层类型，得到全卷积深度神经网络模型，进行像素级别的类别预测；

步骤(3)：将全卷积深度神经网络的后端部分的常规卷积转化为扩张卷积，并添加扩张卷积分支，然后在全卷积深度神经网络末端进行特征融合；

步骤(4)：将步骤(3)中全卷积深度神经网络末端扩展卷积层分枝，给每一个分支设置一个系数，特征融合层按照系数比重进行融合，将此系数设置为可学习的状态；

步骤(5)：将步骤(4)修改后得到的全卷积深度神经网络，在图像语义分割数据集上进行微调训练，同时进行系数学习，得到语义分割模型；