[发明专利]基于目标领域自监督学习的无监督领域适应方法和系统

说明书

本发明提供了一种基于目标领域自监督学习的无监督领域适应方法和系统，包括：领域不变特征提取步骤、图像特征阶梯式领域对齐步骤、语义分割步骤、边缘生成步骤、分割图领域对齐步骤、边缘图领域对齐步骤和边缘一致约束步骤。本发明通过对目标领域实施一种有效的自监督学习，从而提高目标领域的无监督分割精度，实现良好的领域适应。

技术领域

本发明涉及计算机视觉和图像处理领域，具体地，涉及基于目标领域自监督学习的无监督领域适应方法和系统。

背景技术

近年来，随着计算机视觉技术的迅速发展，语义分割任务作为视觉任务中的一个重要分支，越来越受到广泛研究。使用深度神经网络训练一个语义分割任务往往需要该数据集影像的人工标注作为监督，但是为每一个数据集都实现人工标注极为耗费人力物力财力。因此，我们一般会借助其他领域相关任务的带标注数据集，利用其数据和标注让模型在一定的监督下学习，从而缓解模型对目标数据集的标注的依赖。然而，由于来自不同领域的数据集往往其数据分布具有较大的差异，因此在一个领域上训练的模型如果直接在另一个领域的数据上测试，性能一般比较差。为了解决这一问题，无监督领域适应技术近年来被广泛研究。

对于无监督领域适应技术而言，源领域图像具有标注，而目标领域图像没有任何标注。无监督领域适应分割技术利用源领域图像及其标注、目标领域图像，训练出一个在目标领域分割效果较好的模型。目前，很多无监督领域适应分割方法均试图通过对抗学习的机制来对齐源领域和目标领域的统计分布，从而使用对齐后了的领域无关特征训练语义分割模型。但是这种对抗学习一般都在网络的深层或者输出层来对齐源领域和目标领域的特征，而不会对齐浅层特征，更不会将浅层特征复用到深层去降低卷积操作带来的信息损失。此外，现有很多方法往往聚焦在语义分割任务本身，企图通过KL散度，聚类，加权损失函数等多种方法提升语义分割精度，但是它们都忽略了影响目标领域语义分割精度最大的区域：分割边缘区域，这些区域一般会过分割或者少分割。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于目标领域自监督学习的无监督领域适应方法和系统。

根据本发明提供的一种基于目标领域自监督学习的无监督领域适应方法，包括：

领域不变特征提取步骤：对源领域和目标领域的图像，使用特征提取网络提取图像的领域不变特征，得到源领域和目标领域各自的图像特征；

图像特征阶梯式领域对齐步骤：对所述图像特征，使用阶梯式领域判别网络预测来自源领域和目标领域的概率；

语义分割步骤：对所述图像特征，使用卷积和升采样构成的语义分割网络得到源领域和目标领域的语义分割图；

边缘生成步骤：对所述图像特征，使用卷积和升采样构成的边缘生成网络得到源领域和目标领域的边缘生成图；

分割图领域对齐步骤：对所述语义分割图，通过分割图领域判别网络预测来自源领域和目标领域的概率；

边缘图领域对齐步骤：对所述边缘生成图，通过边缘图领域判别网络预测来自源领域和目标领域的概率；

边缘一致约束步骤：对所述语义分割图和所述边缘生成图，使用边缘一致损失函数在目标领域实现自监督学习。

优选地，所述领域不变特征提取步骤中，所述特征提取网络由层卷积和最大池化操作构成，将源领域的图像和目标领域的图像输入共享的所述特征提取网络，所述特征提取网络各层的领域不变特征；

所述源领域的图像和目标领域的图像是来自两个不同分布的针对同一语义分割任务的图像，源领域的图像有相应的像素级标注，目标领域的图像没有标注信息。