[发明专利]机器学习任务的隐式桥接

说明书

用于执行机器学习任务的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。一种方法包括：接收(i)模型输入以及(ii)识别要对所述模型输入执行以针对所述模型输入生成第一类型的模型输出的第一机器学习任务的数据；用所述第一机器学习任务的标识符扩增所述模型输入以生成扩增模型输入；以及使用机器学习模型来处理所述扩增模型输入。如本说明书中所描述的对于机器学习任务应用隐式桥接的示例性系统训练机器学习模型以执行某些类型的机器学习任务，而不要求在训练期间使用针对所述某些类型的机器学习任务的显式训练数据。

背景技术

机器翻译系统要求大量并行训练数据来实现高水平的准确性。一般地，与许多人所说的语言相比，难以针对少数人所说的语言获得大量并行数据。例如，在互联网上找到的大多数文本是英语，然而在诸如日语或韩语的语言中找到的文本量较少。这使对于较小语言获得并行数据变得有挑战性。

传统的机器翻译系统通过经由第三语言桥接较小语言之间的翻译即将第一语言的文本的一部分翻译成第三语言然后从第三语言翻译成第二语言来克服此问题。这种桥接过程遭受许多问题，包括误差的传播、增加的等待时间和增加的系统复杂性。

发明内容

可在特定实施例中实现本说明书中描述的主题以便实现以下优点中的一个或多个：

如本说明书中所描述的对于机器学习任务应用隐式桥接的系统训练机器学习模型以执行某些类型的机器学习任务，而不要求在训练期间使用针对某些类型的机器学习任务的显式训练数据。例如，即使在训练期间未使用针对这种类型的任务的训练数据，系统也可以执行零样本(zero-shot)翻译以训练机器学习模型来将日语文本分段翻译成对应的韩语文本分段。因此，避免了针对翻译的显式桥接，从而避免误差的传播，减小机器学习任务的等待时间并且降低系统复杂性。例如，解码速度可以快两倍，因为当从日语翻译为韩语时通过第三语言的显式桥接是不必要的。

此外，一旦机器学习模型已被训练，如本说明书中所描述的执行零样本翻译的系统就可以实现高水平的准确性，其可比得上(若不好于)对于翻译应用显式桥接的系统。

如本说明书中所描述的执行零样本翻译的系统可以使用单个机器学习模型来执行N种语言之间的机器翻译，而不是具有N^2个单独的模型，从而减少模型参数调谐的所需时间和复杂性，以及减少由机器学习模型所消耗的计算资源。此外，模型的数量的减少可以使得能够在单个设备内使用更多的语言对，因为服务机器通常具有有限的存储器。此外，模型的数量的减少可以极大地简化系统架构，从而改进与系统相关联的生产/设置时间。

如本说明书中所描述的执行零样本翻译的系统可以允许缩放到附加语言。例如，可以将新的数据添加到现有模型，可能具有过采样或欠采样，使得所有语言都被适当地表示，并且在目标语言改变的情况下与新的前置令牌一起使用。不需要改变现有模型的架构。

如本说明书中所描述的执行零样本翻译的系统可以允许低资源语言改进。系统的所有参数都被建模的所有语言对隐式地共享。这迫使系统在训练期间跨越语言边界推广。当具有很少的可用数据的语言对和具有丰富的数据的语言对被混合到单个系统中时，可以改进低资源语言对上的翻译准确性。

本文中描述的各种示例实施方式涉及神经网络。神经网络是采用非线性单元的一个或多个层来针对接收到的输入预测输出的机器学习模型。一些神经网络除了包括输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中的下一个层即下一个隐藏层或输出层的输入。网络的每个层依照一组相应的参数的当前值来从接收到的输入生成输出。可以使用训练数据来在机器学习任务上训练神经网络以确定层参数的训练值，并且可以使用神经网络来对神经网络输入执行机器学习任务。