[发明专利]一种小目标敏感的双通道卷积神经网络语义分割方法

说明书

本发明公开了一种小目标敏感的双通道卷积神经网络语义分割方法，步骤为：使用Caffe深度学习框架搭建非加权学习网络和加权学习网络；对于两个通道的网络，分别使用双阶段训练方式对网络进行训练得到对应的语义分割模型；以验证集图像作为输入，通过两个语义分割模型得到两个通道的输出评分图，利用不同的模型融合算法对两个通道的输出评分图进行融合，并根据特定的评价指标选择最优的模型融合算法；根据语义分割模型和选择的最优模型融合算法来分割测试图像。本发明能够保证在数据集整体分割精度较优的前提下，对图像中存在的小目标区域较为敏感。

技术领域

本发明属于图像处理技术领域，特别涉及了一种小目标敏感的双通道卷积神经网络语义分割方法。

背景技术

图像语义分割是计算机视觉三大任务之一，它的目标是对图像中的每个像素点做类别标记，得到一副图像的语义分割图。从传统的图像分割角度来看，图像语义分割是在语义层面上将图像分割成多个区域，然后为每个区域分配合适的类别标签。目前，语义分割在自动驾驶、实时道路监控、自动虚拟试衣和医疗疾病系统等方面都有广泛的应用。在深度学习兴起之前，语义分割的主要方法是使用条件随机场模型来建立概率图模型，近几年来，深度卷积神经网络由于具有很强的学习能力，计算机视觉领域逐渐趋于成熟。同时随着高速计算设备GPU的发展，解决语义分割问题的主流框架已经被深度学习方法所取代。

尽管深度神经网络在图像理解方面精度有了很大的提高，但在这些复杂场景下仍然面临诸多挑战，如较难分割小目标区域或目标区域的条状部位，即当原始图像通过全卷积神经网络得到具有多个类别通道特征图之后，由于步长大于等于2的池化层和卷积层存在，分割结果的图像尺寸缩小了若干倍。如果这样的池化层或卷积层达到一定的个数，小目标或目标的条状部位在网络的深层输出特征中将会消失。

现有较优的语义分割算法通常基于全卷积神经网络(FCN)框架，FCN的训练过程包括前向传播、损失值计算、反向传播和SGD更新参数。FCN一般使用交叉熵损失函数作为网络的损失层，它对图像所有像素点的误分类损失值求和得到总的损失值。但是，小目标所在区域内包含的像素点数目相比其他目标包含的像素点数目要少很多，当小目标区域内的像素点分类错误时并不会对总的损失产生太大的影响，因此这样的损失函数不适用于小目标的分割。

发明内容

为了解决上述背景技术提出的技术问题，本发明旨在提供一种小目标敏感的双通道卷积神经网络语义分割方法，将小目标敏感的神经网络分割结果和标准的神经网络分割结果进行融合，解决分割小尺寸目标和其他目标精度不平衡的问题。

为了实现上述技术目的，本发明的技术方案为：

一种小目标敏感的双通道卷积神经网络语义分割方法，包括以下步骤：

(1)使用Caffe深度学习框架搭建两个通道的卷积神经网络：非加权学习网络和加权学习网络；所述非加权学习网络用于对图像中目标的主体部位进行分割，加权学习网络用于对图像中小目标进行分割；

(2)对于所述两个通道的网络，分别使用双阶段训练方式对网络进行训练得到对应的语义分割模型；

(3)以验证集图像作为输入，通过步骤(2)得到的两个语义分割模型得到两个通道的输出评分图，利用不同的模型融合算法对两个通道的输出评分图进行融合，并根据特定的评价指标选择最优的模型融合算法；

(4)在测试阶段，根据步骤(2)得到的语义分割模型和步骤(3)选择的最优模型融合算法来分割测试图像。

进一步地，在步骤(1)中，所述非加权学习网络与加权学习网络的网络主体结构相同，利用Attention模型结合多尺度分割网络作为网络主体结构；非加权学习网络的损失函数采用普通的交叉熵损失函数，加权学习网络的损失函数采用小目标敏感的交叉熵损失函数，小目标敏感的交叉熵损失函数将图像中的小目标区域的分类损失和其他区域的分类损失分开考虑，使用特定权值因子对小目标区域的分类损失进行增强，并与其他目标区域的分类损失累加得到总损失值。