[发明专利]使用自回归机器学习模型进行并行解码

说明书

本申请涉及一种使用自回归机器学习模型进行并行解码。提供了用于执行以并行方式生成从自回归序列到序列模型的输出的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。在一个方面中，分块并行解码方法利用了一些架构能够在次线性时间内对序列进行评分的事实。通过一次生成用于多个时间步长的预测，然后退回到由评分模型验证的最长前缀，该方法能够在不影响性能的情况下实质地改善贪婪解码的速度。

相关申请的交叉引用

本申请在35 U.S.C.§119(e)下要求于2018年5月18日提交的美国临时申请No.62/673,796，名称为Parallel Decoding Using Autoregressive Machine Learning Models的申请日的优先权的权益，并且通过引用并入在本文中。

背景技术

从自回归模型中解码和生成输出本质上是顺序的，因为必须为模型提供有其自己的先前预测。这使得大型自回归模型可能难以应用在生产环境中，特别是低延迟环境中。

可能提及克服该困难的三种当前相关的方法。它们中的每个都有一个问题，即，它们速度越快时，质量上也更显著恶化。

第一种方法是预测繁衍(fertility)和噪声并行解码。该方法在Gu等人的非自回归神经机器翻译(Non-Autoregressive Neural Machine Translation)中有所描述，该论文在2018年第六届国际学习表征会议上作为会议论文发表，可在https://arxiv.org/pdf/1711.02281.pdf获得。

第二种方法是独立预测的迭代精化。该方法在2018年4月17日，Lee等人的由迭代精化建模的确定非自回归神经序列(Deterministic Non-Autoregressive NeuralSequence Modeling by Iterative Refinement)中有所描述，可在https://arxiv.org/pdf/1802.06901.pdf获得。

第三种方法是顺序地预测一系列离散潜伏(latent)，然后并行预测最终序列。该方法在2018年4月29日，Kaiser等人的使用离散潜在变量对序列模型快速解码(FastDecoding in Sequence Models Using Discrete Latent Variables)中有所描述，可在https://arxiv.org/pdf/1803.03382.pdf获得。

虽然包括循环、卷积和自关注网络的几种常见架构类在每层所需的计算的量与训练时间处的关键路径长度之间进行不同的折衷(trade-offs)，但是对新输入的推断仍然是固有的顺序过程。

神经自回归序列到序列模型已经变得包括机器翻译、摘要和语音合成的各种各样的任务的实际上的标准。不同的新网络架构现在允许在训练期间增加并行化。这种架构更适合当今的大规模并行硬件加速器，这种架构需要的训练时间要少得多。然而，在为许多实际应用部署这些模型时，在生成时间处的性能仍然存在重大挑战。

因此，越来越多的工作涉及用于从自回归模型加速生成的不同方法。这些方法包括概率密度蒸馏法(probability density distillation)、子标度法、以及将问题分解成自回归生成短序列离散潜在变量之后，以离散潜伏为条件的并行生成步骤。这些技术中的一些至少在某种程度上是应用特定的，诸如用于机器翻译的非自回归Transformer。虽然一些技术实现了语音合成的多个数目级的加速，但据我们所知，机器翻译中非批量解码的最大公布的挂钟时间改进大约是4倍，但在质量上是显著恶化的。

发明内容