[发明专利]一种小目标敏感的双通道卷积神经网络语义分割方法

权利要求书

1.一种小目标敏感的双通道卷积神经网络语义分割方法，其特征在于，包括以下步骤：

(1)使用Caffe深度学习框架搭建两个通道的卷积神经网络：非加权学习网络和加权学习网络；所述非加权学习网络用于对图像中目标的主体部位进行分割，加权学习网络用于对图像中小目标进行分割；加权学习网络的损失函数采用小目标敏感的交叉熵损失函数，小目标敏感的交叉熵损失函数将图像中的小目标区域的分类损失和其他区域的分类损失分开考虑，使用特定权值因子对小目标区域的分类损失进行增强，并与其他目标区域的分类损失累加得到总损失值；

所述小目标敏感的交叉熵损失函数如下：

上式中，L(θ)为小目标敏感的交叉熵损失函数，k∈[0,|C|-1]，j∈[0,|C|]，|C|表示总类别数，表示当前模型对数据集中第i个图像关于真实类别k的标记评分，w为小目标区域内像素分类损失的权重，P′和P″分别为小目标区域像素集合和非小目标区域像素集合；

(2)对于所述两个通道的卷积神经网络，分别使用双阶段训练方式对网络进行训练得到对应的语义分割模型；

(3)以验证集图像作为输入，通过步骤(2)得到的两个语义分割模型得到两个通道的输出评分图，利用不同的模型融合算法对两个通道的输出评分图进行融合，并根据特定的评价指标选择最优的模型融合算法；

(4)在测试阶段，根据步骤(2)得到的语义分割模型和步骤(3)选择的最优模型融合算法来分割测试图像。

2.根据权利要求1所述小目标敏感的双通道卷积神经网络语义分割方法，其特征在于，在步骤(1)中，所述非加权学习网络与加权学习网络的网络主体结构相同，利用Attention模型结合多尺度分割网络作为网络主体结构；非加权学习网络的损失函数采用普通的交叉熵损失函数。

3.根据权利要求1所述小目标敏感的双通道卷积神经网络语义分割方法，其特征在于，在步骤(2)中，所述双阶段训练方式如下：

第一步：首先从完整训练集中随机抽取一部分数据，再使用抽取的数据训练网络模型，该模型的初始参数值通过预训练网络模型微调得到；

第二步：然后在完整训练集上以第一步得到的网络模型作为初始化参数再次训练网络模型。

4.根据权利要求1所述小目标敏感的双通道卷积神经网络语义分割方法，其特征在于，步骤(2)的具体步骤如下：

(21)将数据划分为训练集、验证集和测试集，对训练集中每个样本的真实标记图进行维度转换，将三维的真实标记图转换为二维的标记图，使其适用于Caffe深度学习框架的输入层；

(22)对于非加权学习网络，创建数据集图像索引文件作为Caffe深度学习框架输入层的参数，该索引文件每一行包含输入图片和对应分割标记图的文件路径；对于加权学习网络，同样创建数据集图像索引文件作为Caffe深度学习框架中输入层的参数，而该索引文件每一行除了包含输入图片和对应分割标记图的文件路径外，还包含了小目标区域的标记图，即标记每个像素点是否在小目标所包含的区域；

(23)对于两个网络中任意一个网络，首先使用已经训练好的VGGNet模型参数作为网络的初始化参数，网络最后两个全连接层的参数使用高斯随机的方式进行初始化，从完整训练数据集中抽取一部分数据训练网络模型，利用Caffe深度学习框架对网络进行训练，当迭代次数达到6000时停止训练得到网络粗模型的参数，然后利用粗模型作为初始化参数在所有训练集上对网络模型再次训练。

5.根据权利要求1所述小目标敏感的双通道卷积神经网络语义分割方法，其特征在于，在步骤(3)中，不同的模型融合算法分别为线性加权、最大池化和平均池化，特定的评价指标为平均IoU。

6.根据权利要求1所述小目标敏感的双通道卷积神经网络语义分割方法，其特征在于，步骤(4)的具体步骤如下：

(41)配置Caffe测试网络结构文件：测试网络的输入数据来自内存，使用Caffe深度学习框架的内存输入层；测试网络最后一层得到输出置信图，置信图共有C+1个通道，C为总类比数，每个通道的大小与原始图像大小一致，置信图上每个像素点的值表示原始图像对应位置对应类别的置信评分；

(42)对于一幅待分割的图像，首先进行去均值化和维度转换操作，然后将转换后的图像作为双通道网络的输入进行预测，获得两个C+1个通道的输出评分图，并通过最优模型融合算法对两个输出评分图进行融合得到新的评分图，根据新的评分图得到最终的分割图。