[发明专利]基于注意力的仅解码器的序列转换神经网络

说明书

用于从输入序列生成输出序列的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。该方法之一包括，在多个生成时间步中的每个时间步处：为该生成时间步生成包括输入序列的组合序列，该输入序列后面是截至该生成时间步已经生成的输出令牌；使用自注意力解码器神经网络处理组合序列以生成时间步输出，该时间步输出定义关于可能输出令牌集合的得分分布；以及使用时间步输出，从可能输出令牌集合中选择输出令牌作为输出序列中的下一个输出令牌。

相关申请的交叉引用

本申请要求于2017年10月27日提交的美国专利申请序列号62/578,358的优先权，其全部内容通过引用合并于此。

技术领域

本说明书涉及使用神经网络转换(transduce)序列。

背景技术

神经网络是采用一个或多个层的非线性单元来针对接收到的输入预测输出的机器学习模型。一些神经网络除了包括输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作对网络中的下一个层的输入，所述下一个层即下一个隐藏层或输出层。网络的每个层根据相应的参数集合的当前值根据接收到的输入生成输出。

发明内容

本说明书描述一种系统，该系统被实现为在一个或多个位置上的一个或多个计算机上的计算机程序，该系统从输入序列生成输出序列，该输出序列包括按输出顺序的多个位置中的每个位置处的相应输出，该输入序列包括按输入顺序的多个位置中的每个位置处的相应输入，即，将输入序列转换成输出序列。特别地，系统使用基于自注意力的解码器神经网络生成输出序列。

可以实现本说明书中描述的主题的特定实施例，使得实现以下优点中的一个或多个。

在本说明书中描述的系统的仅解码器架构可以有效且可扩展地注意比传统的序列转换系统长得多的很长的序列。因此，系统可以更有效地执行需要处理长输入序列、生成长输出序列或两者的序列转换任务。例如，该系统在需要生成多个文档的较长摘要的表达性摘要任务上可能会胜过常规系统。这样的任务和其他长序列转换任务可能需要从包括10,000或更多令牌的输入序列中处理和提取信息，以有效地生成输出序列。但是，因为该系统完全或主要基于注意力的，所以该系统仍与现有技术一样计算高效，或者在许多情况下比现有技术更计算高效。

另外，因为所描述的系统仅使用解码器神经网络并且不需要单独的编码器网络，参数的数量并且因此通过使用神经网络存储和运行推理所消耗的内存相对于其他能够在序列转换任务上表现出色的系统大大减少。

此外，通过利用本说明书中描述的局部注意力、存储器压缩注意力或两者，所描述的系统能够在非常长的序列上有效地执行序列转换，而无需消耗过多量的计算资源。

更一般地，由于使用自注意力，所描述的系统也优于许多现有系统。使用神经网络进行序列转换的许多现有方法在编码器和解码器中都使用递归神经网络。尽管这些种类的网络可以在序列转换任务上实现良好的性能，但是它们的计算本质上是顺序排列，即，递归神经网络在当前时间步生成输出，其以在之前时间步处的递归神经网络的隐藏状态为条件。这种顺序性质会阻止并行化，从而导致较长的训练和推理时间，并且因此导致使用大量计算资源的工作负载。

另一方面，因为所描述的系统的解码器是基于注意力的，所以该系统可以更快地转换序列，被更快地训练或两者，因为可以更容易地并行化网络的操作。也就是说，因为所描述的神经网络完全依赖于注意力机制来取得输入和输出之间的全局依存关系并且不采用任何递归神经网络层，所以由递归神经网络层的顺序性质造成的长训练和干扰时间和高资源使用率的问题被缓解。