[发明专利]训练对差异可预测地响应的函数

说明书

提供了训练对差异可预测地响应的函数。本发明涉及训练机器可学习函数（诸如图像分类器或图像特征提取器）的计算机实现的方法（600）。当在自主驾驶和类似应用领域中应用这样的机器可学习函数时，泛化能力是重要的。为了改进泛化能力，机器可学习函数因在机器可学习函数的一层处对输入观察之间的差异集合可预测地响应而被奖励。这是借助于包括在用于训练机器可学习函数的目标函数中的正则化目标来完成的。在给定指示输入观察之间的差异的差异标记的情况下，正则化目标奖励给定层处的输入观察的表示之间的互统计相关性。

技术领域

本发明涉及训练机器可学习函数的计算机实现的方法，以及对应的系统。本发明还涉及包括指令和/或函数参数的计算机可读介质。

背景技术

机器可学习函数具有比手动设计的算法更准确得多地执行任务的潜力。例如，机器可学习函数（例如基于卷积神经网络或类似技术）已示出能够针对诸如识别数位、在猫和狗之间进行区分等各种图像分类任务实现良好的准确度。典型地，这样的机器可学习函数在训练数据集（例如，包括用它们期望的分类标记的图像）上被训练。一般地，训练示例越多，经训练的函数的所得准确度就越好。

在许多实际情形中，获得覆盖足够广泛的输入的训练数据的可行性是阻碍机器学习解决方案的实际采用的主要障碍。例如，在（半）自主车辆领域中，机器可学习函数具有实行对于控制或监视车辆所需的各种任务的潜力，例如，车辆环境的相机图像的图像分析，从而例如对危险的交通情形进行警告。然而，获得用于这样的任务的训练数据需要在车辆周围的驾驶；这是昂贵的，并且甚至可能是危险的。此外，车辆环境的图像可以以许多不同的方式变化，例如在场景的总体配置方面（前面是否有另一汽车，附近是否有行人等）而且还在许多其他方面（例如，汽车在其上行驶的道路类型；交通标志看起来的样子，这因国家而异；天气条件；等等）变化。

这使得几乎不可能获得覆盖车辆可能遇到的所有可能情形组合、特别是在极端情况下的训练数据集。另一方面，尤其是当用于做自动化驾驶决策时，机器可学习函数可靠地处理尤其是这样的极端情况是至关重要的。因此，合期望的是，使用具有高度泛化能力的、例如对训练数据集中没有直接覆盖的输入也提供准确结果的函数。

一种已知的有助于泛化能力的机器学习技术是所谓的群等变卷积网络，例如，如T. Cohen等人的“Group Equivariant Convolutional Networks”（通过引用并入本文，并且可在https://arxiv.org/abs/1602.07576处获得）中所描述的。群等变卷积网络是深度神经网络，即，通过经由多个相应的参数化层传递输入来处理输入（在该情况下是图像）的函数。在群等变卷积网络中，这些相应层处的表示被建模为线性G空间，其中G是表示可以应用的变换集合的预定义的数学群（即，具有满足闭包、关联性、恒等式和可逆性的二进制运算的集合）。等变性意味着，给定层输入上的变换T_g和层输出上的T_g'，其中g∈G，恒等式成立。例如，旋转或镜像输入应当导致输出的对应旋转。给予神经网络层的该附加结构允许更高效地对数据进行建模，并改进泛化能力，这本质上是因为关于期望的函数输出的知识可以在输入和它们的变换变量之间共享。

不幸的是，使函数等变的现有技术有若干缺点。需要变换群G的复杂分析公式，并且附加地，这些变换必须提前已知并硬编码到模型架构中。此外，当使用该函数时，使用变换群，使得模型架构取决于训练中使用的变换类型，并且从而与用于应用机器学习技术的标准工具（例如卷积神经网络的标准实现）不兼容。变换还需要符合变换群G的群公理。因此，仅能指定受限的（几何类型）变换集合。

发明内容