[发明专利]一种基于单一像素标注的图像语义分割方法及系统

权利要求书

1.一种基于单一像素标注的图像语义分割方法，其特征在于，包括：

步骤一、基于每个类别单一像素的标签，利用表观特征和语义特征，分别编码每个类别，建立每个类别的特征表达；

步骤二、对训练图像进行超像素划分，并基于每个类别的特征表达，计算训练图像每个超像素与各个类别的相似度；

步骤三、以每个超像素与各个类别的相似度作为初始条件，利用图像上下文信息和驾驶场景位置先验，更新相似度计算结果，生成初始监督种子；

步骤四、利用所述初始监督种子，训练语义分割网络，学习不同实例的同物性特征，提供图像语义分割结果，用于更新每个超像素与各个类别的相似度；

步骤五、迭代地执行步骤三至步骤四，直至语义分割网络的语义分割性能收敛；保存最终一次训练得到的语义分割网络，用于对新的图像语义分割；

所述类别的属性包括物体和场景；其中，对类别进行编码时，对于物体类别通过语义特征来表示；对于场景类别通过表观特征来表示；所述语义特征采用先将待处理图像切分为预设数量的碎片，再对每个碎片基于预训练的类别激活映射网络模型进行特征提取，最后得到与待处理图像全图等大的预设维度的语义特征图，并将每一种物体表示为一个语义特征向量；所述表观特征采用将颜色特征和纹理特征分别编码为96维和32维的特征，并将每一种场景表示为若干组颜色特征和纹理特征；

当类别的属性为物体时，类别的编码过程包括：

将待处理图像切分为15个相等大小的碎片，将每个碎片经过映射网络模型，编码成16×16×1000维的特征图，对于1000维的特征维度，将其归一化；对于图像中每个像素，计算该像素坐标与15个碎片中心坐标的距离，用与其最近的碎片中对应该像素的位置上的1000维特征作为该像素的语义热图响应；

利用超像素分割方法将待处理图像分为多个超像素，对于每个超像素，用其包含的所有像素的语义热图响应的平均值，作为该超像素的语义特征对于被标注类别的像素，将其对应的1000维特征向量作为该类别的初始的类中心，记为计算和的相似度；

将与相似度最大的前1％的超像素选取为集合Ω_g；

用E-M方法交替更新和Ωg，直到稳定；

记录最终得到的作为该物体类别的编码特征；

当类别的属性为场景时，类别的编码过程包括：

计算待处理图像的三通道颜色特征和局部二值化模式编码的纹理特征，并进行归一化；利用超像素分割的方法将待处理图像分为多个超像素；对于每个超像素，在每个特征通道中，将[0,1]划分为32个相等的区间，对其包含像素的值进行统计；由此，每个超像素将得到96维的颜色特征和32维的纹理特征；

计算待处理图像的边缘特征和显著性特征，计算两两超像素对的相似性；

记录两两超像素之间的边缘距离度量；

确定包含了标注类别像素的超像素，并计算图中其他超像素与该超像素的相似度，记录所有与之相似度大于0.5的超像素；

对于记录的超像素，计算两两超像素的颜色特征相似度和纹理特征相似度，记录二者的乘积，作为该超像素对的表观特征相似度；以0.5为阈值，将这些超像素分为G个组，每个组内超像素的平均特征作为该组的类中心；

通过E-M方法交替更新类中心和超像素的分组，直到稳定；

记录最终得到的G个类中心，作为该场景类别的编码特征组。

2.如权利要求1所述的基于单一像素标注的图像语义分割方法，其特征在于，每个类别单一像素的标签的标注方式为：对于每个类别，从训练图像集中仅选取一张包含其的训练图像，并只标注一个属于该类别的像素。

3.如权利要求1所述的基于单一像素标注的图像语义分割方法，其特征在于，所述计算训练图像每个超像素与各个类别的相似度，包括：

计算图像的语义特征和表观特征，并将图像划分为多个超像素区域，对于每一个超像素区域，生成每个超像素的语义特征和表观特征；

分别计算每个超像素与各类别的相似度；对于每个属于物体的类别，计算该超像素的语义特征与该类别语义特征的相似度；

对于每个属于场景的类别，计算该超像素的表观特征与该类别编码特征组中每一特征向量的相似度，将其中的最大值记录为该超像素与该类别的相似度。