[发明专利]用于执行LSTM神经网络运算的装置和运算方法

说明书

一种用于执行LSTM神经网络运算的装置和运算方法。该装置包括直接内存访问单元、指令缓存单元、控制器单元、并列设置的多个数据缓存单元和并列设置的多个数据处理模块，其中所述多个数据处理模块与所述数据缓存单元一一对应，用于从相应数据缓存单元中获取输入数据和运算时所需的权值和偏置，进行LSTM神经网络运算；所述多个数据处理模块之间执行并行运算。本发明采用专用指令运行，运算所需指令数大幅减少，译码开销降低；将权值和偏置缓存，使得数据传输开销降低；本发明不限制具体应用领域，可在诸如语音识别、文本翻译、音乐合成等领域使用，可扩展性强；多个数据处理模块并行运行，显著提高LSTM网络的运算速度。

技术领域

本发明涉及神经网络运算技术领域，更具体地涉及一种用于执行LSTM神经网络运算的装置和运算方法。

背景技术

长短时间记忆网络(LSTM)是一种时间递归神经网络(RNN),由于网络本身独特的结构设计，LSTM适合于处理和预测时间序列中间隔和延时非常长的重要事件。相比于传统的递归神经网络，LSTM网络表现出更好的性能，它非常适合从经验中学习，以便在重要事件之间存在未知大小时间之后时对时间序列进行分类、处理和预测。目前，在语音识别、视频描述、机器翻译和音乐自动合成等诸多领域，LSTM网络被广泛应用。同时，随着对LSTM网络研究的不断深入，LSTM网络的性能得到了大幅的改善，也在工业界和学术界引起广泛重视。

LSTM网络的运算涉及到多种算法，具体的实现装置主要有以下两种：

一种实现LSTM网络运算的装置是通用处理器。该方法通过使用通用寄存器堆栈和通用功能部件执行通用指令来支持上述算法。该方法的缺点之一是单个通用处理器的运算性能较低，无法满足通常的借助LSTM网络本身运算的可并行性来进行加速。而通过多个通用处理器并行执行时，通过处理器之间相互通信又成为了性能瓶颈。另外，通用处理器需要把人工神经网络运算译码成一系列的运算以及访存指令，处理器前端译码也存在较大的功耗开销。

另一种支持LSTM网络运算的已知方法是使用图形处理器(GPU)。该方法通过使用通用寄存器堆栈和通用流处理单元执行通用SIMD指令来执行上述算法。由于GPU是专门用来执行图形图像运算以及科学计算的设备，没有对LSTM网络提供专门的支持，仍然需要大量的前端译码工作才能执行LSTM网络运算，这会带来大量的额外开销。另外，GPU只有较小的片上缓存，LSTM网络中使用的相关参数需要反复从片外搬运，片外带宽也成为了性能瓶颈。

由此可见，如何设计和提供一种以较小的IO量、低开销的方式实现高运算性能的LSTM网络运算的装置和方法是当前迫切需要解决的技术问题。

发明内容

有鉴于此，本发明的主要目的是提供一种用于执行LSTM网络运算的装置和方法，以解决上述技术问题中的至少之一。

为了实现上述目的，作为本发明的一个方面，本发明提供了一种用于执行LSTM神经网络运算的装置，其特征在于，包括：

并列设置的多个数据缓存单元，用于对运算所需数据、状态和结果进行缓存；

并列设置的多个数据处理模块，用于从对应数据缓存单元中获取输入数据和运算时所需的权值和偏置，进行LSTM神经网络运算；其中所述多个数据处理模块与所述数据缓存单元一一对应，且所述多个数据处理模块之间执行并行运算。

作为本发明的另一个方面，本发明还提供了一种用于执行LSTM神经网络运算的装置，其特征在于，包括：

存储器；

处理器，所述处理器执行如下操作：

步骤1，从外部指定地址空间读取用于LSTM神经网络运算的权值和偏置，并将其分割成与所述LSTM神经网络运算的神经元对应的多个部分后存储到所述存储器的不同空间中，其中每个空间中的权值和偏置的数量相同；并从外部指定地址空间读取用于LSTM神经网络运算的输入数据并将其存储在所述存储器的每一个所述不同空间中；