[发明专利]基于均匀聚类的语义分割的无监督域适应方法、装置、系统和存储介质

权利要求书

1.一种基于均匀聚类的语义分割的无监督域适应方法，其特征在于，包括以下步骤：

建立具备标签的源域数据集和不具备标签的目标域数据集；所述源域数据集包括源域图像、源域图像的语义标签，所述目标域数据集包括目标域图像；

建立无监督域适应网络模型；所述无监督域适应网络模型包括用于对源域图像和目标域图像进行语义分割的语义分割网络模型和用于对抗训练的判别器模型；

建立无监督域适应网络模型的目标函数；所述无监督域适应网络模型的目标函数包括用于监督语义分割网络模型性能的语义分割损失、基于原型的源域均匀聚类损失、基于经验原型的目标域均匀聚类损失和用于监督判别器模型性能的对抗损失；

其中，采用源域图像相对于语义分割网络模型的交叉熵损失作为监督语义分割网络模型性能的语义分割损失；

所述基于原型的源域均匀聚类损失用于减小类内差异、增大类间距离，表示为计算过程为：

所述基于经验原型的目标域均匀聚类损失用于减小类内差异、增大类间距离，表示为计算过程为：

其中，σ是激活函数，表示如果像素的语义标签属于类别c即输出1，如果像素的语义标签不属于类别c即输出0，表示源域图像x_s中(h,w)位置像素提取的特征与类别c的原型表示之间的L-2范数的平方，表示源域图像中预测为类别c的像素的经验概率，表示特征生成器f从目标域图像x_t中(h,w)位置像素提取的特征，表示分类器按照特征做出的预测结果，表示目标域图像x_t中(h,w)位置像素提取的特征与类别c的经验原型表示之间的L-2范数的平方，表示目标域图像中预测为类别c的像素的经验概率，C表示语义分割网络模型的分类类别的总数量，Θ是特征生成器f的参数；θ是分类器的参数；

其中，所述原型表示依据源域图像x_s的特征计算得到，所述经验原型表示依据目标域图像x_t的特征计算得到；

所述经验概率依据分类器对特征做出相对于类别c的预测结果计算得到；

所述经验概率依据分类器对特征做出相对于类别c的预测结果计算得到；

所述用于监督判别器模型性能的对抗损失采用表示，计算过程为：

其中，是源域图像x_s中(h,w)位置像素的熵图，是目标域图像x_t中(h,w)位置像素的熵图，D()表示判别器模型D判断输入熵图来自目标域的域概率；

所述熵图熵图通过以下公式计算得到：

利用源域数据集和目标域数据集，并采用目标函数优化无监督域适应网络模型的网络参数，得到参数优化后的语义分割网络模型；

利用参数优化后的语义分割网络模型对待检测的目标域图像进行检测，得到目标域图像的语义标签。

2.如权利要求1所述的基于均匀聚类的语义分割的无监督域适应方法，其特征在于，所述语义分割网络模型采用ResNet为基础框架并经过图像预训练得到，包括特征生成器和分类器；所述判别器模型包括顺序连接的多个Block块和多个卷积层，其中，Block块包括顺序连接的卷积层和激活层。

3.如权利要求1所述的基于均匀聚类的语义分割的无监督域适应方法，其特征在于，所述语义分割损失、源域均匀聚类损失、目标域均匀聚类损失以及对抗损失加权求和组成无监督域适应网络模型的目标函数；优选地，各损失的权重均为1；

在对无监督域适应网络模型进行参数优化时，固定判别器模型的网络参数，分别计算语义分割损失对应的语义分割网络模型的参数梯度，源域均匀聚类损失对应的语义分割网络模型的参数梯度，目标域均匀聚类损失的对应的语义分割网络模型的参数梯度；计算对抗损失对于语义分割网络模型和判别器模型的参数梯度；依据参数梯度更新语义分割网络模型的网络参数和判别器模型的参数梯度。

4.如权利要求1或3所述的基于均匀聚类的语义分割的无监督域适应方法，其特征在于，从源域图像的语义分割结果中筛选高置信度的源域图像的语义分割结果，依据高置信度的源域图像的语义分割结果计算源域均匀聚类损失；

从目标域图像的语义分割结果中筛选高置信度的目标域图像的语义分割结果，依据高置信度的目标域图像的语义分割结果计算目标域均匀聚类损失。