[发明专利]一种基于跨图像一致性的图像语义分割方法及其系统

说明书

本发明公开了一种基于跨图像一致性的图像语义分割方法及其系统，所述方法包括：1、训练语义分割网络；2、选择一张未标记图像，并到找一张具有相同类别k的标记图像，得到伪标签上区域为类别k的第二掩膜，和标签上区域为类别k的第一掩膜；3、用语义分割网络提取标记图像的第一深度特征，并找到第一深度特征中属于类别k的特征；4、共同优化语义分割网络；5、依据伪标签的可靠性修正未标注图像的伪标签；6、重复2至5，直至未标注图像库所对应的伪标签集全部修正完毕。本发明提出的图像语义分割方法，仅用少量的标记图像和大量的未标记图像进行训练，减少人工标注标签成本的同时，能准确地对图像进行语义分割。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于跨图像一致性的图像语义分割方法及其系统。

背景技术

语义分割是图像解译中的一项基本任务和挑战，其目的在于对图像中的每一个像素都分配一个语义类别标签，对自然图像理解和自动驾驶中的街景识别具有重大的意义。近年来，随着人工智能和计算机技术的发展，深度学习算法在特征提取，目标检测，语义分割等任务中展现了远超传统算法的优越性能，在图像解译技术中也发挥了重要的作用。

深度学习算法通常需要大量人工标注的标签来进行监督，耗时耗力，尤其对于语义分割任务，制作像素级的标签更是一项成本巨大的工作。因此我们希望仅使用少量的标注样本来进行半监督学习。半监督学习旨在利用少量的标注样本和大量的未标注样本进行训练，从而在节约标注成本的情况下提高识别精度。但是针对半监督语义分割任务，仅使用少量的标注图像，很难为未标注图像生成可靠的伪标签，而带有大量噪声的伪标签严重地限制了对未标注图像的学习。

发明内容

本发明提供了一种基于跨图像一致性的图像语义分割方法及其系统，以解决现有技术中半监督语义分割的精确度低、性能低的技术问题。

为了解决上述技术问题，本发明采用的技术方案为：一种基于跨图像一致性的图像语义分割方法，包括如下步骤：

步骤S10、用标记图像库x_l及其标签集y_l训练第一语义分割网络N1，训练次数达到设定值后，得到第二语义分割网络N2，用第二语义分割网络N2预测未标注图像库x_u并生成相应的伪标签集y_u；然后用标记图像库x_l及其标签集y_l和未标注图像库x_u及其伪标签集y_u共同训练第二语义分割网络N2，直至训练的次数达到设定值，得到第三语义分割网络N3；

步骤S20、在未标注图像库x_u中选择一张未标记图像根据未标记图像其对应的伪标签在标记图像库x_l中随机查找一张具有相同类别k的标记图像得到伪标签上区域为类别k的第二掩膜和标签上区域为类别k的第一掩膜

步骤S30、用第三语义分割网络N3提取标记图像的第一深度特征f_lⁱ，用第一掩膜对第一深度特征f_lⁱ进行均值池化得到第一深度特征f_lⁱ中属于类别k的类别特征

步骤S40、用第三语义分割网络N3提取未标记图像的第二深度特征计算第二深度特征与类别特征的相似度区域得到跨图像一致性掩膜mⁱ，用第二掩膜约束跨图像一致性掩膜mⁱ，共同优化第三语义分割网络N3；

步骤S50、计算第二掩膜和跨图像一致性掩膜mⁱ之间的欧式距离，并作为权重判断伪标签的可靠性，依据伪标签的可靠性修正未标注图像的伪标签

步骤S60、重复步骤S20至步骤S50，直至未标注图像库x_u所对应的伪标签集y_u全部修正完毕，图像语义分割完成。