[发明专利]选择性像素亲和学习的弱监督语义图像分割方法

说明书

本发明提出一种选择性像素亲和学习的弱监督语义图像分割方法，旨在通过对像素点间相关关系有选择地学习，更加准确预测对象边界以及区域连通处的像素点相关关系，改善对象边界与区域内部的分割效果。实现步骤为：首先，生成类别激活图，生成联合置信度图，生成权值图，在权值图与联合置信度图的共同监督下有选择地训练AffinityNet神经网络，学习并预测像素间亲和性，生成基础训练集中每张图像的伪掩码，最后，训练用于生成掩码的网络，对待分割图像的弱监督语义进行分割。本发明能够改善图像中对象边界与区域连通处的分割结果，提升分割效果。

技术领域

本发明属于图像处理技术领域，更进一步涉及图像分割技术领域中的选择性像素亲和学习的弱监督语义图像分割方法。本发明可用于对自然图像进行弱监督语义图像分割，得到具有物体类别的分割图。

背景技术

自然图像语义分割是图像处理中极具挑战性的一个任务，它的目的是为每个像素分配不同的类别，在场景理解和自动驾驶等领域有着广泛的应用。近年来随着深度神经网络的发展，全监督的语义分割任务取得了重大进展。然而，全监督的语义分割任务需要耗费大量的时间标注标签，这无疑是非常昂贵的。为了减轻对像素级标注的严重依赖，使用边界框、关键点以及图像级标签的弱监督学习方法在语义分割任务中被采用。由于图像级标签获取成本低于其他标签，有时标签甚至可以直接从互联网、物联网中得到，因此工程实践中更多采用图像级标签的弱监督方法。之前的图像级弱监督语义图像分割方法首先通过训练分类网络并通过分类网络生成类别激活图，并将它作为初始的类别分割区域“种子”，然后利用种子的分割结果训练一个常规的全监督语义分割网络，得到最终的弱监督语义图像分割结果。然而，种子通常只在具有类别判别力的区域获得较高的响应，并不能准确包含物体的整个区域，导致分割效果并不理想。

JiwoonAhn等人在其发表的论文“Learning Pixel-Level Semantic AffinityWith Image-Level Supervision for Weakly Supervised Semantic Segmentation”(IEEE Conference on Computer Vision and Pattern Recognition，2018年)中提出了一种利用深度卷积神经网络学习像素点对亲和关系的弱监督语义图像分割方法。该方法的步骤是：首先，训练一个分类网络，并利用训练好的分类网络生成类别激活图，再利用生成的类别激活图制作像素点对亲和关系的标签，其次，利用像素点对亲和关系标签建立一个预测像素点间亲和关系的深度神经网络，对该网络设置了交叉熵损失函数。之后利用预测到的像素点间亲和关系作为随机游走的转移概率，使用随机游走将类激活图的激活得分传播到同一语义实体的附近区域，显著提高了类别激活图的质量，细化了分割伪掩码，最后，再利用生成的分割伪掩码训练一个常规的全监督语义分割网络，利用训练好的分割网络得到物体最终的分割结果。虽然该方法通过预测像素点对间的亲和关系，在一定程度上细化了类激活图生成的“种子”，但是，该方法仍然存在的不足之处是，仅仅简单的对像素间亲和关系进行建模，并没有较多的关注物体边界与区域内部的关键位置像素，导致在对自然图像的物体边界与区域内部位置进行弱监督语义图像分割结果较差。