[发明专利]基于熵最小化的半监督图像语义分割方法

说明书

本发明涉及一种基于熵最小化的半监督图像语义分割方法。首先提出了一种特征梯度映射正则化策略(FGMR)，其使用编码器中低层特征图的梯度映射来增强编码器对深层特征图的编码能力；然后，提出一种自适应锐化策略，将未标记数据的决策边界保持在一个低密度区域；并且为了进一步降低噪声的影响，提出一种低置信度一致性策略保证分类和分割的一致性。大量的实验证实了本发明算法相对于现有方法的优越性。

技术领域

本发明属于计算机视觉技术领域，用于半监督图像语义分割，对于仅有少量标注数据和大量无标注数据场景下的图像分割起着至关重要的作用，具体涉及一种基于熵最小化的半监督图像语义分割方法。

背景技术

近年来，随着深度监督学习的发展，各种计算机视觉任务取得了显著进展。然而，训练一个深度神经网络需要大量的标记数据，这些数据的获取通常是耗时且昂贵的。特别在语义分割任务中，需要大量的像素级标签，标注代价分别是区域级和图像级标签的15倍和60倍。由于需要专业医生的标注，医学图像分割成本的增加更加明显。因此，人们越来越关注弱监督分割方法和半监督分割方法。

半监督图像语义分割假设在同一分布中有大量的未标记数据和有限的标记数据。目前，主流的半监督分割方法可以分为基于生成对抗网络(GAN)的方法和基于一致性训练的方法。基于GAN的方法将通用的GAN框架扩展到像素级的预测，试图用假的未标记数据欺骗鉴别器。一致性训练方法期望网络的输出在不同的扰动下是平滑的。这些方法在半监督图像语义分割中证实了其有效性，但他们也有一些局限性。比如，基于GAN的方法利用了未标记的数据，但需要仔细设计特定的网络结构，并且很难训练。一致性训练的方法需要对每个扰动后的数据分别进行前向传播，造成额外的计算，而扰动隐含地增强了数据，这对于没有数据增强的全监督网络模型来说，两者之间的性能比较是不公平的。

发明内容

本发明的目的在于克服上述缺陷，提供一种基于熵最小化的半监督图像语义分割方法，首先提出了一种特征梯度映射正则化策略(FGMR)，其使用编码器中低层特征图的梯度映射来增强编码器对深层特征图的编码能力；然后，提出一种自适应锐化策略，将未标记数据的决策边界保持在一个低密度区域；并且为了进一步降低噪声的影响，提出一种低置信度一致性策略保证分类和分割的一致性；本发明方法基本无需进行网络结构更改和额外的计算代价，即可显著提升半监督图像语义分割性能。

为实现上述目的，本发明的技术方案是：一种基于熵最小化的半监督图像语义分割方法，首先提出一种特征梯度映射正则化策略FGMR，其使用编码器中低层特征图的梯度映射来增强编码器对深层特征图的编码能力；然后，提出一种自适应锐化策略，将未标记数据的决策边界保持在一个低密度区域；并且为了进一步降低噪声的影响，提出一种低置信度一致性策略保证分类和分割的一致性。

在本发明一实施例中，所述方法对半监督图像语义分割网络结构的改动为：假设输入图像大小为H×W，类别数为C，则将网络输出改为分割结果的均值μ_s∈R^H×W×C和方差同样在编码器的最后一层输出分类结果的均值μ_c∈R^C和方差

对于网络的损失函数的改进，首先，网络的损失函数包含监督损失项和非监督损失项：

L＝L_s+λL_u

其中，L_s是监督损失项，L_u是非监督损失项，λ是调整监督损失项和非监督损失项之间平衡的超参数；