[发明专利]基于均匀聚类的语义分割的无监督域适应方法、装置、系统和存储介质

说明书

本发明公开了一种基于均匀聚类的语义分割的无监督域适应方法、装置、系统和存储介质，首先，建立了基于原型的源域均匀聚类损失和基于经验原型的目标域均匀聚类损失，缩小了同一类别像素的类内差异，同时驱动结构相似但类别不同的像素相互远离，趋向均匀分布，增大了类间距离，克服了域适应过程中类别边界不清晰的问题；接着，将基于原型的源域均匀聚类损失和基于经验原型的目标域均匀聚类损失融入对抗训练框架，缩小了源域和目标域之间的域差异，增强了跨域数据在语义分割模型上的适应性，进而提升了语义分割的准确性。

技术领域

本发明属于无监督域适应领域，具体涉及一种基于均匀聚类的语义分割的无监督域适应方法、装置、系统和存储介质。

背景技术

在过去的几十年里，基于卷积神经网络的语义分割模型依赖大规模标注数据集取得了卓越的成功并在自动驾驶、机器人等领域展现了极大的潜力。可是，这些大规模标注数据集需要具备专业知识的技术人员长期密集地手工标注，这消耗了昂贵的人力成本和时间成本。

为缓解这一问题，最近的研究工作逐步尝试合成数据集，例如：GTA5、SYNTHIA和Synscapes。合成数据集可由游戏引擎或模拟器自动合成，降低了人力成本。然而，由于域差异，这些基于合成数据集的训练模型不能很好地应用到真实场景。因此，无监督域适应技术被提出，旨在将具备标签的源域知识迁移到无标签的目标域。

在无监督域适应任务中，大多数方法利用最小化源域和目标域之间的域差异来获取域不变特征，同时利用聚类或者重加权策略获取任务可判别的特征。一方面，减小域差异可泛化模型至目标域；另一方面，学习可判别特征提升了分类准确率。可是，大量的实验表明学习的语义特征是类别边界不清晰的，导致一些小的和密集性的物体难以区分。例如：一些重要的交通信号灯常常被分类模型误认为背景建筑物，这会造成严重的安全事故，在真实应用场景中是难以容忍的。因此，需要解决无监督域适应任务中类别边界不清晰问题。

目前，主流的无监督域适应技术以对抗训练为核心，通过一个域判别器对齐源域和目标域。可是，这些对抗训练方法忽略了像素级别的类别结构。最近的工作，例如：SSF-DAN、MaxSquare，利用类别级别的判别器和重加权策略改善了语义特征的类别结构。然而，这些间接的策略依然没有克服类别结构不清晰的问题。另一方面，大多数基于聚类的无监督域适应方法虽然调节了类别结构，但是主要被应用到图像级别的分类任务，没有考虑高维的语义特征空间，导致有限的识别语义信息的能力。

因此，探索一种应用于语义分割任务的类别结构清晰的无监督域适应方法，进而来提升语义分割模型的语义标签预测能力，成为一个亟待解决的技术问题。

发明内容

鉴于上述，本发明的目的是提供一种基于均匀聚类的语义分割的无监督域适应方法，通过克服无监督域适应任务中类别边界不清晰的技术缺陷，来提升语义分割的准确性。

为实现上述目的，本发明提供了如下方案：

第一方面，实施例提供的一种基于均匀聚类的语义分割的无监督域适应方法，包括以下步骤：

建立具备标签的源域数据集和不具备标签的目标域数据集；所述源域数据集包括源域图像、源域图像的语义标签，所述目标域数据集包括目标域图像；

建立无监督域适应网络模型；所述无监督域适应网络模型包括用于对源域图像和目标域图像进行语义分割的语义分割网络模型和用于对抗训练的判别器模型；

建立无监督域适应网络模型的目标函数；所述无监督域适应网络模型的目标函数包括用于监督语义分割网络模型性能的语义分割损失、基于原型的源域均匀聚类损失、基于经验原型的目标域均匀聚类损失和用于监督判别器模型性能的对抗损失；

利用源域数据集和目标域数据集，并采用目标函数优化无监督域适应网络模型的网络参数，得到参数优化后的语义分割网络模型；