[发明专利]一种针对语义分割模型的上下文不敏感的训练方法

说明书

本发明公开了一种针对语义分割模型的上下文不敏感的训练方法，用于对视频的语义分割算法进行大幅加速。具体包括如下步骤：1)获取用于训练语义分割的多组图像数据集，并定义算法目标；2)使用基于全卷积网络结构的模型在该数据集上进行学习；3)使用类擦去样本生成器产生新的训练样本；4)使用步骤2)得到的网络参数，在原始数据集和步骤3)生成的新样本上结合一致性约束进行优化，得到对上下文不敏感的模型。本发明挖掘语义分割的场景理解能力，所训练的模型在数据擦除、数据干扰和风格迁移等条件下具有更好的泛化能力。

技术领域

本发明属于计算机视觉领域，特别地涉及一种针对语义分割模型的上下文不敏感的训练方法。

背景技术

语义分割是将图像中的每个像素点都划分到一个语义标签的计算机视觉任务。目前业界领先的语义分割技术都是基于全卷积神经网络(FCN)的变体，这些技术方法大多利用上下文信息来获得更好的分割结果。例如PSPNet在FCN的基础上加入全局金字塔池化技术以增加上下文信息。DeepLab系列算法尝试了多种不同的带孔卷积架构以获取多尺度的上下文信息。其结果是，当前的语义分割技术对上下文信息十分敏感。

然而，这种对上下文敏感的策略会导致模型泛化能力不强，并且不能真正让模型对场景的理解具有类人的能力。对上下文敏感的模型实际上学习的是训练数据集上的语义标记的一种联合概率分布，一旦遇到模型不熟悉的场景，模型的性能将大幅下降。同时，人类在理解某个像素的语义类别时，很大程度上不受周围的像素的语义类别的影响。为获得更好的场景理解能力，我们就需要一种对上下文不敏感的语义分割方法。

发明内容

为解决上述问题，本发明的目的在于提供一种针对语义分割模型的上下文不敏感的训练方法。该方法可以用于训练基于深度学习的语义分割模型。这一方法包含两个子模块，分别是类擦去样本生成器和一致性损失约束。类擦去样本生成器可以帮助模型解耦语义类别间的认知关系。而一致性损失约束可以帮助模型提取到上下文不敏感的特征。在此框架下训练的模型，相较原始模型具有上下文不敏感的特点，进而有更强的泛化能力。

为实现上述目的，本发明的技术方案为：

一种针对语义分割模型的上下文不敏感的训练方法，其包括以下步骤：

S1.获取用于训练语义分割的多组图像数据集，并定义算法目标；

S2.使用基于全卷积网络结构的模型在该数据集上进行学习；

S3.使用类擦去样本生成器产生新的训练样本；

S4.使用S2得到的网络参数，在原始数据集和S3生成的新样本上结合一致性损失约束进行模型优化，得到对上下文不敏感的模型。

基于上述方案，各步骤可以通过如下方式实现：

步骤S1中，对于所述的用于语义分割的多个图像数据集中的一幅图片I，定义算法目标为：检测图片I内的每个像素所属的语义类别。

步骤S2中，使用基于全卷积网络结构的模型在该数据集上进行学习具体包括：

S21.基于全卷积的网络结构的模型φ对输出图片I提取特征；

S22.使用1×1卷积，对提取的特征进行语义类别的预测；

S23.使用交叉熵损失，根据预测类别和原始标签L来优化模型φ，其中原始标签L中含有图片I中各像素所属的真实语义类别。

步骤S3中，所述的类擦去样本生成器用于生成部分类别被擦去的图片和标签作为训练数据来训练模型，其参数包含照片填充单元i_e，标签填充单元c_e和最大擦去的类别数目m，其输入为原始图片I和原始标签L；类擦去样本生成器中生成新的三元组训练样本{I′,L′,M}的方法如下：

S31.在标签L中统计其包含的类别，记为集合K；