[发明专利]循环神经网络中的数字格式选择

说明书

循环神经网络中的数字格式选择。一种计算机实现的方法，所述计算机实现的方法选择用于表示用在配置循环神经网络(RNN)的硬件实施中的所述RNN的两个或更多个值的数字格式，所述方法包括：接收所述RNN的表示；将所述RNN的所述表示实施为用于对测试输入序列进行运算的测试神经网络，所述测试神经网络的每个步骤包括所述RNN的所述两个或更多个值的实例；针对所述测试输入序列运算所述测试神经网络进行多个步骤，并且收集统计数据以提供给数字格式选择算法；以及将数字格式选择算法应用于所述统计数据，以便导出所述RNN的所述两个或更多个值的所述多个实例的通用数字格式。

技术领域

本公开涉及为循环神经网络(RNN)的值选择数字格式的计算机实现的方法和数据处理系统。

背景技术

循环神经网络(RNN)是一种用于对输入序列进行运算的人工神经网络，其中提供对序列中的输入的处理期间生成的状态以用于处理序列中的一个或多个后续输入。因此，RNN的输出不仅受到网络输入的影响，而且还受到表示序列中的先前点处的网络上下文的状态的影响。以此方式，RNN的运算受到网络执行的历史处理的影响，并且相同的输入可产生不同的输出，具体取决于提供给RNN的序列中的先前输入。

RNN可用于机器学习应用程序。特别地，RNN可以应用于表示时间序列的输入，该时间序列可能是无限长度的时间序列。例如，RNN用于语音识别和合成、机器翻译、手写识别和时间序列预测。

发明内容

提供本发明内容是为了介绍在以下详细描述中进一步描述的一些概念。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。

提供一种计算机实现的方法，该方法选择用于表示用在配置循环神经网络(RNN)的硬件实施中的RNN的两个或更多个值的数字格式，该方法包括：

接收RNN的表示；

将RNN的表示实施为用于对测试输入序列进行运算的测试神经网络，该测试神经网络的每个步骤包括RNN的两个或更多个值的实例；

针对测试输入序列运算所述测试神经网络进行多个步骤，并且收集统计数据以提供给数字格式选择算法；以及

将数字格式选择算法应用于统计数据，以便导出RNN的两个或更多个值的多个实例的通用数字格式。

测试神经网络的每个步骤可以用于对序列的不同测试输入进行运算。

应用格式选择算法可以包括将数字格式选择算法应用于在所有多个步骤中捕获的统计数据，通用数字格式由数字格式选择算法输出。

通用数字格式可以是由一个或多个可配置参数定义的块可配置数字格式。

数字格式选择算法可以被配置为标识预定义类型的块可配置数字格式的块可配置数字格式。

应用数字格式选择算法可以包括：

针对多个步骤中的每一个步骤，独立地标识两个或更多个值的每个实例的数字格式；以及

组合两个或更多个值的多个实例的数字格式，以便导出RNN的两个或更多个值的多个实例的通用数字格式。

数字格式选择算法可以被配置为标识两个或更多个值的每个实例的由一个或多个可配置参数定义的块可配置数字格式。

组合可包括独立地组合针对两个或更多个值的每个实例标识的块可配置数字格式的一个或多个可配置参数中的每一个可配置参数，以便为通用数字格式定义一个或多个可配置参数。

独立地组合块可配置数字格式的一个或多个可配置参数中的每一个可配置参数可以包括针对一个或多个可配置参数中的每一个可配置参数确定中值、最小值、最大值或平均值，以用作通用数字格式的相应的可配置参数。