[发明专利]基于熵最小化的半监督图像语义分割方法

权利要求书

1.一种基于熵最小化的半监督图像语义分割方法，其特征在于，首先提出一种特征梯度映射正则化策略FGMR，其使用编码器中低层特征图的梯度映射来增强编码器对深层特征图的编码能力；然后，提出一种自适应锐化策略，将未标记数据的决策边界保持在一个低密度区域；并且为了进一步降低噪声的影响，提出一种低置信度一致性策略保证分类和分割的一致性。

2.根据权利要求1所述的基于熵最小化的半监督图像语义分割方法，其特征在于，所述方法对半监督图像语义分割网络结构的改动为：假设输入图像大小为H×W，类别数为C，则将网络输出改为分割结果的均值μ_s∈R^H×W×C和方差同样在编码器的最后一层输出分类结果的均值μ_c∈R^C和方差

对于网络的损失函数的改进，首先，网络的损失函数包含监督损失项和非监督损失项：

L＝L_s+λL_u

其中，L_s是监督损失项，L_u是非监督损失项，λ是调整监督损失项和非监督损失项之间平衡的超参数；

对于有标签的数据x_l∈R^H×W×3，对应的分割标签为y_s∈R^H×W×C，类别标签为y_c∈R^C；将x_l送进网络获得相应均值和方差，并利用重参数技巧采样得到分割预测z_s和分类预测z_c，之后采用交叉熵损失来分别监督y_s和分割结果z_s，以及y_c和分类结果z_c；对于有标签的数据，损失项定义为：

其中，H(·，·)是交叉熵损失函数，α(·)是最后一层的激活函数；

对于未标记的数据，先利用特征梯度图正则化策略FGMR来增强编码器所得特征图的边缘梯度值；然后，利用方差作为偶然不确定性来搜索噪声样本，用于指导自适应锐化策略以获得未标记数据的伪标签，其中，可能带来噪声的伪标签用于监督未标记数据；即使偶然不确定性能滤除一些噪声样本，但是伪标签产生的噪声样本很可能仍会影响网络的性能；为解决这个问题，分类结果中的低置信度类别被进一步用来抑制相应类别的分割预测，以保持类别的一致性；自适应锐化损失和类一致性损失会相互对抗，使决策边界处于低密度区域，从而得到稳健的预测结果；无监督损失函数定义为：

其中，和分别是特征梯度图正则化策略FGMR、自适应锐化策略adaptivesharpen和类一致性策略class consistency的损失项。

3.根据权利要求2所述的基于熵最小化的半监督图像语义分割方法，其特征在于，所述特征梯度图正则化策略FGMR具体实现公式如下：

其中，是一个梯度算子，S^e是分割网络的编码器，在训练阶段设置为不进行反向传播。

4.根据权利要求2所述的基于熵最小化的半监督图像语义分割方法，其特征在于，所述自适应锐化策略adaptive sharpen具体实现如下：

首先，常见锐化策略定义为：

其中，T是一个超参数；当T→0时，锐化(p，T)结果将接近狄拉克分布；由于锐化的结果作为未标记数据的目标，因此，降低T可以鼓励模型产生低熵预测；但是，T的设置需要精心设计，特别是在图像分割任务中，给所有样本设置相同的T值是不合理的；

因此，提出自适应锐化策略adaptive sharpen，其以方差作为偶然不确定性来过滤噪声样本，并根据预测的置信度自适应地调整每个样本的T值，使得置信度越低，样本的锐化程度越高，即：

其中，公式(1)和(2)可自适应地为每个样本产生伪标记，然后使用均方误差损失来优化未标记的数据，即：