[发明专利]量化训练的长短期记忆神经网络

说明书

用于量化具有多个权重的训练的长短期记忆(LSTM)神经网络的方法，所述方法包括：获得为训练的LSTM神经网络的每个权重指定训练的浮点值的数据，所述训练的LSTM神经网络包括一个或多个LSTM层，每个LSTM层具有多个门且多个门中的每个门与输入权重矩阵和循环权重矩阵相关联；量化训练的LSTM神经网络，包括：对每个门，将输入权重矩阵的元素量化到目标固定比特宽度；对每个门，将循环权重矩阵的元素量化到目标固定比特宽度；以及提供指定量化神经网络的数据以用于执行量化的推断。

相关申请的交叉引用

本申请要求于2018年10月30日提交的No.62/752,914美国专利申请的优先权，其全部内容通过引用并入本文。

背景技术

本说明书涉及量化用于执行量化的推断的训练的长短期记忆(LSTM)神经网络。

神经网络是一种机器学习模型，它使用一层或多层非线性单元来预测接收的输入的输出。一些神经网络除了输出层外，还包括一个或多个隐藏层。每个隐藏层的输出用作网络中下一层(即下一隐藏层或输出层)的输入。网络的每一层根据相应参数集合的当前值从接收的输入生成输出。

一些神经网络是循环神经网络。循环神经网络是接收输入序列并从输入序列生成输出序列的神经网络。特别地，循环神经网络使用在处理输入序列中的先前输入之后的网络的部分或全部内部状态从输入序列中的当前输入生成输出。循环神经网络的一个示例是LSTM神经网络。LSTM神经网络具有一个或多个LSTM层，每个层包含一个或多个门和存储单元。

LSTM神经网络解决了在长时间间隔内存储信息的问题。与LSTM神经网络的输入序列有关的信息通过一个或多个门和存储单元。根据门的功能，门可以控制：允许多少信息进入LSTM层；在LSTM层中保留多少信息；以及允许多少信息离开LSTM层作为下一时间步长的输出。可以训练LSTM神经网络优化这些门的决策，从而只保留处理输入序列所需的信息。

发明内容

本说明书描述了作为一个或多个位置的一个或多个计算机上的一个或多个计算机程序实现的训练的LSTM神经网络量化系统(“量化系统”)，量化具有一个或多个LSTM层的训练的LSTM神经网络。特别地，量化系统量化训练的LSTM神经网络，使得LSTM神经网络可以有效地用于执行量化的推断。

通常，说明书中描述的主题的一个创新方面可以体现在包括以下动作的方法中：(i)获得为训练的LSTM神经网络的每个权重指定训练的浮点值的数据，所述训练的LSTM神经网络包括一个或多个LSTM层，每个LSTM层具有多个门，并且多个门中的每个门与输入权重矩阵和循环权重矩阵相关联；(ii)量化训练的LSTM神经网络，包括：对每个门，将输入权重矩阵和循环权重矩阵的元素量化到目标固定比特宽度；以及(iii)提供指定量化LSTM神经网络的数据以用于执行量化的推断。

输入权重矩阵是指由权重形成的矩阵，权重是用于在由门执行的生成输出的处理期间修改到门的对应输入(例如，输入向量)的值，例如乘法因子。

循环权重矩阵是指由权重构成的矩阵，权重是用于修改循环向量的对应分量的值，例如乘法因子。循环向量可以是门的先前输出(即，当处理先前由门执行时的结果)，除非在至少第一次由该门执行该处理的情况下。在这种情况下，可以根据随机过程预定义或设置循环向量。

量化的LSTM神经网络可以是由与训练的LSTM神经网络的相应单元相对应的单元组成的神经网络，并且以与训练的LSTM神经网络的相应单元相同的方式彼此连接，但是其中，量化的LSTM神经网络的每个门采用训练的LSTM神经网络的对应门的输入矩阵和递归矩阵的量化的元素。