[发明专利]一种用于语义分割的对比学习方法及系统

说明书

本发明涉及目标分割技术领域，尤其涉及一种用于语义分割的对比学习方法及系统，其方法包括以有监督的方式在标记的源域上训练分割模型；其中分割模型由特征提取器和分类器组成；获得在标记的源域上训练的分割模型，对分割模型进行初始化；执行对比度适应操作：给定目标域的图像，通过分类器产生伪标签和特征提取器提取相应的特征，将伪标签提取的特征和其对应的分割模型对应，再计算特征和每个对应的分割模型之间的相似性和损失；根据损失，用混合域方式更新分割模型，得到更新后的分割模型。本发明通过引入不同类别特征的约束，并采用对比的学习方法用于语义分割，使分割模型取得了比较好的性能。

技术领域

本发明涉及目标分割技术领域，尤其涉及一种用于语义分割的对比学习方法及系统。

背景技术

语义分割是一项基本的计算机视觉任务，需要对给定图像进行逐像素预测。近年来，随着深度神经网络的发展，语义分割取得了显著进展。然而，由于域转移问题，当测试数据的分布与训练数据不同时，最先进的方法仍然存在显著的性能下降。同时，在目标域中标记像素级大规模语义分割既耗时又昂贵。所以亟需更好的方法用于语义分割。

现多数研究技术人员由于技术的原因，语义分割方法还是采用基于对抗训练的方法，而这些检测的方法存在以下问题：(1)不能保证目标域中属于不同语义类别的像素能够很好地分离，模型的泛化能力差。(2)没有考虑源域和目标域之间表征结构的一致性，不能从源域中标记的数据中学到充分的表示。

发明内容

本发明的第一目的在于提出一种用于语义分割的对比学习方法，通过引入不同类别特征的约束，并采用对比的学习方法用于语义分割，使分割模型取得了比较好的性能。

本发明的第二目的在于提出一种用于语义分割的对比学习系统。

为达此目的，本发明采用以下技术方案：

一种用于语义分割的对比学习方法，包括以下步骤：

S1、以有监督的方式在标记的源域上训练分割模型；其中分割模型由特征提取器F和分类器C组成；

S2、获得在标记的源域上训练的分割模型，对分割模型进行初始化；

S3、执行对比度适应操作：给定目标域的图像，通过分类器产生伪标签和特征提取器提取相应的特征，将伪标签提取的特征和其对应的分割模型对应，再计算特征和每个对应的分割模型之间的相似性和损失；

S4、根据损失，用混合域方式更新分割模型，得到更新后的分割模型。

优选的，在S1前，还包括S0、设定模型参数操作，其中模型参数包括初始学习率、动量、权重衰减速率、学习速率和目标域的伪标签阈值。

优选的，在S2中，所述对分割模型进行初始化，包括采用初始化公式对分割模型进行初始化，所述初始化公式表示为：

式中，是在维数为d的模型中提取的特征向量；c是类别的索引；H和W表示特征的高度和宽度；是一个指示函数，如果则为1，否则为0。

优选的，在S3中，所述计算特征和每个对应的分割模型之间的损失，包括采用标准交叉熵公式计算特征和每个对应的分割模型之间的损失，所述标准交叉熵公式表示为：

式中，N_s表示给定目标域的图像；H和W是图像的高度和宽度；i和j是高度和宽度的像素指数；表示最小化预测值；表示真实值标签；C表示类别。

优选的，在S4中，所述用混合域方式更新分割模型，包括采用混合域更新公式更新分割模型，所述混合域更新公式表示为：

式中，m是一个超参数，它定义为训练期间源模型和目标模型更新的恒定速率；表示源域模型；表示目标模型。