[发明专利]基于目标领域自监督学习的无监督领域适应方法和系统

权利要求书

1.一种基于目标领域自监督学习的无监督领域适应方法，其特征在于，包括：

领域不变特征提取步骤：对源领域和目标领域的图像，使用特征提取网络提取图像的领域不变特征，得到源领域和目标领域各自的图像特征；

图像特征阶梯式领域对齐步骤：对所述图像特征，使用阶梯式领域判别网络预测来自源领域和目标领域的概率；

语义分割步骤：对所述图像特征，使用卷积和升采样构成的语义分割网络得到源领域和目标领域的语义分割图；

边缘生成步骤：对所述图像特征，使用卷积和升采样构成的边缘生成网络得到源领域和目标领域的边缘生成图；

分割图领域对齐步骤：对所述语义分割图，通过分割图领域判别网络预测来自源领域和目标领域的概率；

边缘图领域对齐步骤：对所述边缘生成图，通过边缘图领域判别网络预测来自源领域和目标领域的概率；

边缘一致约束步骤：对所述语义分割图和所述边缘生成图，使用边缘一致损失函数在目标领域实现自监督学习；

所述图像特征阶梯式领域对齐步骤中，特征提取网络和阶梯式领域判别网络进行min-max操作，目标函数如下：

其中，θ_F是特征提取网络的参数，θ_f是阶梯式领域判别网络的参数，K是特征提取网络的层数，k是其中第k层，L_f，k是第k层的损失函数，γ_k是第k层损失函数的权重，是特征提取网络第k层提取到的源领域特征，是特征提取网络第k层提取到的目标领域特征，F(X^s)是特征提取网络提取出的若干源领域特征，F(X^t)是特征提取网络提取出的若干目标领域特征，是阶梯式领域判别网络预测特征来自源领域的概率，是阶梯式领域判别网络预测特征来自目标领域的概率；随着k逐步递增至K，各层特征的领域信息逐步递减，因此min-max对抗的力度逐步递减，也即γ_k逐步递减。

2.根据权利要求1所述的基于目标领域自监督学习的无监督领域适应方法，其特征在于，所述领域不变特征提取步骤中，所述特征提取网络由层卷积和最大池化操作构成，将源领域的图像和目标领域的图像输入共享的所述特征提取网络，所述特征提取网络各层的领域不变特征；

所述源领域的图像和目标领域的图像是来自两个不同分布的针对同一语义分割任务的图像，源领域的图像有相应的像素级标注，目标领域的图像没有标注信息。

3.根据权利要求1所述的基于目标领域自监督学习的无监督领域适应方法，其特征在于，所述图像特征阶梯式领域对齐步骤中，特征提取网络和阶梯式领域判别网络进行min-max操作，阶梯式领域判别网络区分输入的源领域的各层的特征和目标领域的各层的特征，而特征提取网络提取各层的领域不变的特征来混淆阶梯式领域判别网络，使阶梯式领域判别网络无法区分特征来自哪个领域。

4.根据权利要求1所述的基于目标领域自监督学习的无监督领域适应方法，其特征在于，所述语义分割步骤中，语义分割网络由层卷积和上采样操作构成，利用该语义分割网络，将特征提取网络提取出的源领域和目标领域的领域不变特征分别进行语义分割。

5.根据权利要求1所述的基于目标领域自监督学习的无监督领域适应方法，其特征在于，所述边缘生成步骤中，边缘生成网络由若干层卷积和上采样操作构成，利用该边缘生成网络，将特征提取网络提取出的源领域和目标领域的领域不变特征分别生成对应的边缘图。

6.根据权利要求1所述的基于目标领域自监督学习的无监督领域适应方法，其特征在于，所述分割图领域对齐步骤，语义分割网络和分割图领域判别网络进行min-max操作，分割图领域判别网络区分源领域的分割图和目标领域的分割图，而语义分割网络混淆分割图领域判别网络，从而语义分割网络生成的源领域的分割图和目标领域的分割图是领域无关的。