[发明专利]神经网络的无监督域适应

说明书

本发明公开了神经网络的无监督域适应。本文提出的方法提供无监督域迁移学习。特别地，可以使用至少来自第一域的标记数据和来自第二域的未标记数据一起训练三个神经网络。使用特征提取网络提取数据的特征。第一个分类器网络使用这些特征对数据进行分类，而第二个分类器网络使用这些特征来确定相关域。组合损失函数用于优化网络，目的是特征提取网络提取第一个分类器网络能够用来准确分类数据的特征，但阻止第二个分类器确定图像的域。即使第二个域可能几乎没有标记的训练数据，这种优化也使对象分类可以在任意域都以高准确度执行。

相关申请的交叉引用

本申请要求于2020年10月1日提交的名称为“神经网络的无监督域适应”的美国临时专利申请序列号63/086,544的优先权，其全部内容并入本文并用于所有目的。

背景技术

从通用数据学习新概念和技能并将这些概念和技能迁移到类似场景的能力在许多现代应用中是至关重要的，例如可能涉及机器学习。例如，通常情况下，学习者只能访问给定感兴趣域(例如环境或场景类型)上的一小部分未标记的数据子集。然而，学习可以访问更大的标记数据集，该数据集能够用于相同的任务，但在与目标域不同的域中。如果这两个域之间的差异(通常称为“域差距”)不是很大，那么可以使用标记数据和未标记数据训练模型，并推广到目标数据集。这种场景可能涉及无监督域适应。然而，传统的无监督域适应方法存在一个问题，即在各种实际应用中，训练示例的分布不同于在测试或推理时使用的示例的分布。传统的域适应方法基于在实践中难以优化的发散度量来确定泛化界限。这导致理论和最先进的方法之间存在很大的脱节。

附图说明

将参考附图描述根据本公开的各种实施例，其中：

图1示出了根据至少一个实施例的示出不同域中的对象的图像；

图2示出了根据至少一个实施例的用于执行网络的基于无监督域适应的训练的系统组件；

图3示出了根据至少一个实施例的数据分类器系统的组件；

图4示出了根据至少一个实施例的来自多个域的数据图；

图5A、图5B和图5C示出了根据至少一个实施例的用于训练神经网络和使用这些神经网络进行推理的过程；

图6示出了根据至少一个实施例的用于执行训练和/或推理的系统组件；

图7A示出了根据至少一个实施例的推理和/或训练逻辑；

图7B示出了根据至少一个实施例的推理和/或训练逻辑；

图8示出了根据至少一个实施例的示例数据中心系统；

图9示出了根据至少一个实施例的计算机系统；

图10示出了根据至少一个实施例的计算机系统；

图11示出了根据一个或更多个实施例的图形处理器的至少一部分；

图12示出了根据一个或更多个实施例的图形处理器的至少一部分；

图13是根据至少一个实施例的高级计算管道的示例数据流程图；

图14是根据至少一个实施例的用于在高级计算管道中训练、调整、实例化和部署机器学习模型的示例系统的系统图；和

图15A和图15B示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流程图，以及用于使用预先训练的注释模型来增强注释工具的客户端-服务器架构。

具体实施方式