[发明专利]一种基于最大化区域互信息的语义分割方法

说明书

本发明公开了一种基于最大化区域互信息的语义分割方法，包括：(1)将真实场景图片输入分割模型，获得预测分割图片；(2)构造预测图片与标签图片的高维分布；(3)计算给定预测图片高维分布的情况下，标签图片高维分布的后验方差的近似值；(4)计算预测图片和标签图片的两个高维分布的互信息的下界；(5)根据得到的互信息的下界，更新分割模型的权重参数，最大化两个高维分布的互信息以最大化预测图片和标签图片的相似性；(6)重复上述步骤(1)至步骤(5)，达到预设训练次数后结束训练，并将训练完毕的模型进行语义分割的应用。本发明通过最大化模型分割图片和标签图片间的区域互信息，可以增强分割模型的分割效果。

技术领域

本发明属于计算机视觉中的图像语义分割领域，尤其是涉及一种基于最大化区域互信息的语义分割方法。

背景技术

图像语义分割是计算机视觉领域的一个基本问题，其目的是给图像中的每个像素分配相应的语义标签，这些语义标签代表着像素点所属的物体类别，如天空、人、车、建筑物等。语义分割在自动驾驶、医疗图像分析、机器人视觉等领域都具有广泛的应用场景；语义分割的研究也对其他计算机视觉问题具有极大的启发意义。实际中，图像语义分割通常被当作一个逐像素的多分类问题来处理。近些年来，随着卷积神经网络的发展和各种为语义分割任务精心设计的深度学习模型的提出，语义分割问题获得了惊人的进展。而在通常情况下，分割模型的训练和优化都是通过最小化像素的平均分类损失来完成的。这其中，最常用的语义分割损失函数是softmax交叉熵损失函数：

其中，p∈[0，1]是模型预测的分类概率，y∈{0，1}是真实的物体类别标签，N代表图片中像素点的数目，C是待分类物体的类别数目。最小化y和p之间的交叉熵损失等价于最小化他们之间的相对熵，或者说Kullback-Leibler(KL)离散度。

从上面的公式中可以看出，交叉熵损失是逐像素计算的，因此它忽略了像素点之间的关系。然而一张图片中的像素点之间存在着很强的依赖性，这些依赖关系中隐含着物体的结构信息。由于逐像素的损失函数(如上文提到的交叉熵损失)忽略了像素间的关系，用逐像素的损失函数监督训练的语义分割模型不能很好的识别前景信息较为匮乏或者属于具有较小空间结构的物体的像素点，模型的分割效果也会变差。

以往的一些方法也致力于利用图片中像素点的相关性来增强分割的效果。2012年第26届神经信息处理系统进展大会Conference on Neural Information ProcessingSystems上的文章《Efficient Inference in Fully Connected CRFs with GaussianEdge Potentials》和2018年期刊IEEE Transactions on Pattern Analysis and MachineIntelligence第40卷第834-848页中的文章《DeepLab：Semantic Image Segmentationwith Deep Convolutional Nets，Atrous Convolution，and Fully Connected CRFs》利用条件随机场(Conditional Random Field，CRF)来拟合图片中像素点的关系。然而CRF通常有耗时的迭代推理过程，并且CRF对图像中物体的外观特征也很敏感。2017年第31届神经信息处理系统进展大会Conference on Neural Information Processing Systems上的文章《Learning Affinity via Spatial Propagation Networks》和2018年的欧洲计算机视觉国际会议European Conference on Computer Vision上的文章《Adaptive AffinityFields for Semantic Segmentation》利用点与点之间的相似关系来增强分割的效果，但是提取图片中像素点的相似关系通常需要额外的网络模型分支，得到的相似性矩阵也需要额外的内存空间来存储。

发明内容