[发明专利]基于二分类张量增强的多分类语义分割方法

说明书

本发明提供一种基于二分类张量增强的多分类语义分割方法，包括步骤：将需要将分类的图片输入至原始分割网络中；由原始分割网络的特征提取部分进行特征提取，将提取的特征并行输入至N个二分类头以及中转部分；N个二分类头对输入的特征分别进行二分类处理输出N个二分类张量，中转部分输出待分类特征；将N个二分类前景分数图与待分类特征进行级联，级联张量最后送入多分类头，多分类头对输入的级联张量进行N分类处理并输出N分类张量作为最终的多分类结果。本发明可以简单地加入到多数分割网络结构中，仅带来少量的网络参数量增加。相较于直接用CE损失优化多分类头结果的方法，本发明方法能在增加少量参数消耗的情况下提升分割网络的分类性能。

技术领域

本发明涉及多分类技术，特别涉及一种基于二分类张量增强支援多分类分割的技术。

背景技术

随着硬件算力与深度学习的不断发展，对图像的高精度像素级处理的需求愈加普遍。图像分割作为计算机视觉中最为常见的视觉任务，依托深度神经网络可以实现对图像的像素级分类。在许多应用场景中，图像分割是处理流程中不可或缺的一环，如自动驾驶、增强现实等，分割的结果直接影响了下游处理的效果。本发明主要致力于增强分割网络的分类环节，从而提升分割效果。

多数实现语义分割的网络最终仅通过交叉熵(CE)损失优化最终输出的多分类张量，在多数任务中取得了相对较好的分割结果。然而由于CE损失仅激励正确类别上的预测分数，容易忽略对相似类别分数的抑制，进而容易导致网络在分辨相似类别时产生混淆。尤其是在人体解析等具体下属任务中，混淆类别带来的误分类对网络的影响显得不可忽视。使用二分类头支援多分类头可以增加分割网络的分类能力，但各个类别的二分类预测之间的关系难以通过BCE损失得到反映，故二分类头的输出张量可以再进一步通过新的损失约束，实现对最终结果更好的支援。

发明内容

本发明所要解决的技术问题是，提供一种新型损失对二分类张量进行优化，使得二分类张量可以更好支援语义分割网络的最终结果，实现到多分类结果更好的支援的方法。本方法旨在减少二分类张量中不正确类别的预测在各个真值区域的二分类分数，以及进一步加强各个真值区域内正确预测的分数。另外，本发明旨在进一步提高分割网络对相似类别的分类能力。通过对已有网络结构增加简单的二分类头，对损失进行优化，从而提升二分类张量对最终结果的支持效果，进一步提升最终分割结果的平均交并比。

本发明为解决上述技术问题所采用的技术方案是，基于二分类张量增强的多分类语义分割方法，包括步骤：

1)将需要将分类的图片输入至原始分割网络中；原始分割网络包括特征提取部分与一个多分类头；

2)由原始分割网络的特征提取部分进行特征提取，将提取的特征并行输入至N个二分类头以及中转部分；

3)N个二分类头对输入的特征分别进行二分类处理输出N个二分类张量，中转部分保持输入特征的维度并进行简单的特征转换，输出待分类特征；

4)将N个二分类前景分数图与待分类特征进行级联，级联张量最后送入多分类头，多分类头对输入的级联张量进行N分类处理并输出N分类张量作为最终的多分类结果。

进一步的，训练过程实现多分类方法的整个网络采用的损失函数L为：L＝L_CE+α·L_BCE+β·L_B2M；其中，L_CE与L_BCE分别是多分类头和二分类头的交叉熵损失，α和β是超参数；

L_B2M为强化二分类张量支援属性的损失，L_B2M＝L_overlap+L_missing；L_overlap为反映二分类中不合理交叠的损失项，L_missing为反映二分类中缺失预测的损失项。