[发明专利]一种基于单一像素标注的图像语义分割方法及系统

说明书

本发明提供一种基于单一像素标注的图像语义分割方法及系统，该方法包括：基于每个类别单一像素的标签，利用表观特征和语义特征，分别编码每个类别；基于每个类别的特征表达，计算训练图像每个超像素与各类别的相似度；利用图像上下文信息和驾驶场景位置先验，更新相似度计算结果，生成初始监督种子；利用初始监督种子，训练语义分割网络，学习不同实例的同物性特征，更新每个超像素与各类别的相似度；迭代地执行初始监督种子生成和相似度更新过程，直至收敛；保存收敛后的语义分割网络。本发明为驾驶场景下的弱监督语义分割任务提供了一种可行策略，在自动驾驶等场景下具有广泛应用前景。

技术领域

本发明涉及模式识别技术领域，特别是指一种基于单一像素标注的图像语义分割方法及系统。

背景技术

在人工智能计算机视觉领域，图像语义分割是一个重要的研究领域，该任务旨在为图像提供像素级别的类别标注，实现图像理解过程。

近年来，针对驾驶场景的图像理解任务得到了国内外许多学者的关注和大量研究，并在全监督条件下，取得了越来越有意的性能。这些方法依赖大量的高精度的像素级手工标签，实现深度神经网络的训练过程。然而，这些方法往往依赖大量的数据标注，且模型的性能受到采集数据的局限性的影响，往往不具备足够高的泛化性能。在面向新的场景时，需要采集新的数据并进行标注，这也限制了这种方法在驾驶场景的应用。

另一方面，弱监督学习提供了一种轻量化的方法，在训练语义分割网络模型时，不需要提供大量的像素级别图像标注，因此在以自动驾驶为代表的众多领域中都有着广泛的应用前景。现有的弱监督标注方法主要包括了提供给图像中每个类别图像级、包围盒级标签等方式，这些标注形式为解决只包含少量类别物体的自然场景图像中的语义分割任务提供了可解条件。然而，在面向包含了大量类别的复杂驾驶场景时，已有的弱监督标注方式不仅不足够轻量化，还无法为每个类别的学习提供帮助。因此，提供一种面向复杂驾驶场景的、更轻量且合理的弱监督标注方式具有重要意义。

在弱监督条件和复杂的驾驶场景的约束下，算法的设计和训练难度都显著提升。这里，如何实现对每个类别的最适特征编码，以及如何利用驾驶场景下各类别目标位置先验信息和同物性特征实现可靠地像素级分割，是面向驾驶场景的弱监督语义分割任务亟待解决的难题。

发明内容

本发明要解决的技术问题是提供一种基于单一像素标注的图像语义分割方法及系统，以解决面向复杂驾驶场景的弱监督标注及每个类别的特征编码问题，在弱监督条件和复杂的驾驶场景的约束下实现可靠地像素级别语义分割。

为解决上述技术问题，本发明提供如下技术方案：

一种基于单一像素标注的图像语义分割方法，所述方法包括：

步骤一、基于每个类别单一像素的标签，利用表观特征和语义特征，分别编码每个类别，建立每个类别的特征表达；

步骤二、对训练图像进行超像素划分，并基于每个类别的特征表达，计算训练图像每个超像素与各个类别的相似度；

步骤三、以每个超像素与各个类别的相似度作为初始条件，利用图像上下文信息和驾驶场景位置先验，更新相似度计算结果，生成初始监督种子；

步骤四、利用所述初始监督种子，训练语义分割网络，学习不同实例的同物性特征，提供图像语义分割结果，用于更新每个超像素与各个类别的相似度；

步骤五、迭代地执行步骤三至步骤四，直至语义分割网络的语义分割性能收敛；保存最终一次训练得到的语义分割网络，用于对新的图像的语义分割。

进一步地，每个类别单一像素的标签的标注方式为：对于每个类别，从训练图像集中仅选取一张包含其的训练图像，并只标注一个属于该类别的像素。

进一步地，所述类别的属性包括物体和场景；其中，对类别进行编码时，对于物体类别通过语义特征来表示；对于场景类别通过表观特征来表示。