[发明专利]用于神经网络的领域自适应的方法、设备和存储介质

说明书

公开了用于神经网络的领域自适应的方法、设备和计算机可读存储介质。该方法包括：将来自源域的第一样本和第二样本与来自目标域的第三样本进行混合以得到混合样本，其中，第一样本、第二样本、第三样本和混合样本属于同一个类别；基于源域中的样本与混合样本之间的类内距离和类间距离之和构建第一损失函数，第一损失函数使得加权平均后的类内距离最小化并且使得加权平均后的类间距离最大化；基于第一损失函数和交叉熵损失函数之和，分别针对源域和由混合样本组成的混合域来构建第二损失函数；和利用源域的第二损失函数和混合域的第二损失函数两者来确定神经网络是否收敛，并且如果未收敛则重复进行以上步骤。

技术领域

本公开内容涉及深度神经网络的领域，并且具体涉及有监督领域自适应。

背景技术

近年来，深度神经网络模型在计算机视觉、自然语言处理等任务上取得了显著的进步。然而，这些进步通常依赖于大规模有标注的数据，例如ImageNet。在将某个模型直接应用于新的环境中时，其性能往往不可避免地出现显著的下降。这是因为新环境中的数据与模型训练时所用的数据存在偏差，即领域偏差(domain shift)。通常，可以通过在新的环境中构建具有足够多样性样本的目标数据集，并利用该数据集重新训练或微调模型来消减领域偏差造成的影响。然而，对大规模数据进行准确的标注是非常昂贵且费时的。

为解决此问题，一种解决方案是利用无监督的领域适应(Unsupervised DomainAdaptation,UDA)方法来将旧环境对应的源域中的有用的知识迁移到新环境所对应的目标域。虽然UDA方法很有效，但是该方法依然需要大量无标注的目标域的样本来训练目标模型。这需要很长的训练时间，同时也需要消耗很多的计算资源。另一种解决办法是仅利用目标域中的每个类的少量有标注的样本从头开始训练模型或对原有的模型进行微调来将源域中的有用的知识迁移到目标域。由于只利用了少量样本，所以它可以避免上述的问题，同时可以快速地适应环境的变化。而且在很多情况下也只能得到数量非常有限的目标域样本。

到目前为止，已有一些方法按照上述这种只利用少量的有标签的目标域样本训练目标模型的方式来解决此问题。CCSA^[1](Unified Deep Supervised Domain Adaptationand Generalization，统一深度有监督领域自适应和泛化)是首先提出仅利用少量有标注的目标域样本进行领域适应的方法。它提出通过最小化跨域样本对的平均类内距离，并最大化跨域样本对的平均类间距离来实现源域和目标域的类别对齐。而FADA^[2](Few-ShotAdversarial Domain Adaptation，少样本对抗领域自适应)则通过将目标域的少量样本与源域样本组成样本对，然后通过对样本对进行领域对抗训练，来实现领域适应。FADA首先创建四组样本对，然后训练了一个“域-类判别器”来识别每个样本对是来自哪一组。同时，训练一个特征提取器学会提取使得“域-类判别器”无法区分每个样本对是来自哪一组的特征。通过特征提取器与“域-类判别器”之间的对抗训练，使得特征提取器不仅能够提取领域不变的特征，同时也能实现类别对齐。d-SNE^[3](Domain Adaptation Using StochasticNeighborhood Embedding，使用随机邻域嵌入的领域自适应)是目前效果最好的方法。它提出通过最小化最大的跨域样本对的类内距离并且最大化最小的跨域样本对的类间距离来实现领域适应。

虽然上述方法取得了一定的效果，但还存在一些不足。首先，它们直接使用目标域的少量有标注的数据，而未考虑进行数据增强。已经提出一些数据增强的方法，例如在图像中添加高斯噪声、图像旋转、裁剪等，来增加目标域样本的数量。此外，也可以使用输入混合(input mixup)^[4]或流形混合(manifold mixup)的方法来进行数据增强。然而，这些现有的数据增强方法都是对单个域进行数据增强，而不适用于领域自适应。

其次，CCSA和d-SNE分别代表了两种极端情况。CCSA对所有类内和类间距离一视同仁，而d-SNE仅考虑了最大的类内距离和最小的类间距离。