[发明专利]循环神经网络中的数字格式选择

权利要求书

1.一种计算机实现的方法，所述计算机实现的方法选择用于表示用在配置循环神经网络(RNN)的硬件实施中的所述RNN的两个或更多个值的数字格式，所述方法包括：

接收所述RNN的表示；

将所述RNN的所述表示实施为用于对测试输入序列进行运算的测试神经网络，所述测试神经网络的每个步骤包括所述RNN的所述两个或更多个值的实例；

针对所述测试输入序列运算所述测试神经网络进行多个步骤，并且收集统计数据以提供给数字格式选择算法；以及

将数字格式选择算法应用于所述统计数据，以便导出所述RNN的所述两个或更多个值的多个实例的通用数字格式。

2.如权利要求1所述的方法，其中所述测试神经网络的每个步骤用于对所述序列的不同测试输入进行运算，并且其中所述应用所述格式选择算法包括将所述数字格式选择算法应用于在所有所述多个步骤中捕获的所述统计数据，所述通用数字格式由所述数字格式选择算法输出。

3.如权利要求1所述的方法，其中所述通用数字格式是由一个或多个可配置参数定义的块可配置数字格式，并且其中所述数字格式选择算法被配置为标识预定义类型的块可配置数字格式的块可配置数字格式。

4.如权利要求1所述的方法，其中所述应用所述数字格式选择算法包括：

针对所述多个步骤中的每一个步骤，独立地标识所述两个或更多个值的每个实例的数字格式；以及

组合所述两个或更多个值的所述多个实例的所述数字格式，以便导出所述RNN的所述两个或更多个值的所述多个实例的所述通用数字格式。

5.如权利要求4所述的方法，其中所述数字格式选择算法被配置为针对所述两个或更多个值的每个实例标识由一个或多个可配置参数定义的块可配置数字格式，并且其中所述组合包括独立地组合针对所述两个或更多个值的每个实例标识的所述块可配置数字格式的所述一个或多个可配置参数中的每一个可配置参数，以便定义所述通用数字格式的所述一个或多个可配置参数。

6.如权利要求1所述的方法，其中所述多个步骤是第一预先确定的多个步骤，并且其中所述将所述RNN的所述表示实施为测试神经网络包括将所述RNN的所述表示转换为用于在所述第一预先确定的多个步骤上运算的测试神经网络，所述测试神经网络在所述第一预先确定的多个步骤上等同于所述RNN。

7.如权利要求6所述的方法，其中所述变换包括在所述第一预先确定的多个步骤上展开所述RNN，以便形成所述测试神经网络。

8.如权利要求6所述的方法，其中所述测试神经网络被配置为对预定义的多个测试输入进行运算，所述预定义的多个测试输入在数量上等于所述第一预先确定的多个步骤。

9.如权利要求1所述的方法，还包括在所述RNN的硬件实施中使用所述通用数字格式作为相应的两个或更多个值的所述数字格式。

10.如权利要求9所述的方法，其中所述RNN的所述硬件实施包括所述RNN在通过以下方式形成的硬件中的实施：

将所述RNN的所述表示变换为用于在所述输入序列的预先确定的多个输入上进行运算的导数神经网络，所述导数神经网络具有一个或多个状态输入和一个或多个状态输出，并且在所述RNN的第二预先确定的多个步骤上等同于所述RNN；以及

通过以下方式将所述导数神经网络迭代地应用于所述输入序列：

在硬件中实施所述导数神经网络的实例序列；以及

将来自所述硬件处的所述导数神经网络的每个实例的所述一个或多个状态输出作为所述一个或多个状态输入提供给所述硬件处的所述导数神经网络的后续实例，以便在比所述预先确定的多个输入长的输入序列上运算所述RNN。

11.如权利要求10所述的方法，其中针对所述RNN的所述两个或更多个值中的每一个值形成的所述通用数字格式用作所述导数神经网络中的所述两个或更多个值的所有实例的所述数字格式。