[发明专利]基于脉动阵列的长短期记忆神经网络前向加速系统及方法

说明书

本发明公开了一种基于脉动阵列的多隐层可复用的长短期记忆神经网络前向加速系统及方法，该系统包括：算法控制模块，负责控制计算流程；门向量计算模块，负责接收源数据并在控制模块控制下将源数据传入脉动阵列，依次计算门向量并存入存储模块；细胞状态计算模块，接收到启动信号后读入门向量数据，计算神经元状态值和隐藏层输出值，存入存储模块；存储地址生成模块，负责生成存储地址。有益效果：实现了输入‑隐藏层的可复用，网络规模包括输出层节点数、隐藏层节点数、时间序列长度等可配置，灵活度高，可扩展性强，存储资源利用率高，运算速度快。

技术领域

本发明属于人工智能算法硬件加速领域，尤其涉及了一种基于脉动阵列的长短期记忆神经网络前向加速系统。

背景技术

随着神经网络算法在不同领域取得越来越多的成就，传统的深度神经网络(DNN)也暴露出了一些问题：只能处理当前输入的信息。为了解决这一问题，循环神经网络(RNN)应运而生，而长短期记忆(LSTM)神经网络则是目前最主流的循环神经网络的变体，其引入了记忆单元以解决长期依赖性问题。长短期记忆神经网络已被广泛应用于语音识别、图像处理和机器翻译等领域。

由于引入了所谓的“门”单元，LSTM网络包含了较多的矩阵-向量乘法运算，该系列算法属于计算密集型算法，通常需要采用硬件加速方式实现，目前较常用的加速手段包括CPU、GPU、ASIC等。其中CPU和GPU都属于通用处理器，需要进行取指令、指令译码、指令执行的操作，在面对计算密集型算法时无法达到更高的数据传输和计算效率，且能耗较大；ASIC是根据需求特定的专用处理芯片，具有低功耗、高性能、面积小等优点，不过其也存在设计灵活性不高且通常不可配置等问题，如何提高LSTM的硬件加速性能、配置灵活性和可复用性成为了研究的热点。

发明内容

本发明的目的是克服上述背景技术中的LSTM前向运算硬件实现的不足，提出一种基于脉动阵列的多隐层可复用LSTM前向硬件加速架构，支持网络大小，包括输入层节点数、隐藏层节点数、时间序列长度等可配置，提高了硬件加速效率，并实现了输入层-隐藏层前向运算的可复用，具体通过以下技术方案实现：

所述基于脉动阵列的长短期记忆神经网络前向加速系统，包括：

算法控制模块，控制计算流程，输出控制信号，控制门向量计算模块和细胞状态计算模块的交替运行；

门向量计算模块，接收源数据，根据所述控制信号将所述源数据传入脉动阵列，依次计算遗忘门向量f_t，输入门向量i_t，候选门向量z_t以及输出门向量o_t，当同一个时间序列t中的o_t计算完成后产生一个细胞状态计算模块的启动信号；所述源数据包括输入层输入数据、神经元权重项以及神经元偏置项；

细胞状态计算模块，接收所述启动信号后读入门向量数据，计算神经元状态值C_t和隐藏层输出值H_t；

存储模块，接收和输出存储门向量计算模块与细胞状态计算模块的计算结果。

所述基于脉动阵列的长短期记忆神经网络前向加速系统的进一步设计在于，所述长短期记忆神经网的输入层-隐藏层通过在系统配置阶段实施多条指令配置，将前一隐藏层的输出作为下一隐藏层的输入，实现隐藏层的多次调用，完成任意隐藏层层数的LSTM前向计算。

所述基于脉动阵列的长短期记忆神经网络前向加速系统的进一步设计在于，所述门向量计算模块和细胞状态计算模块采用类脉动阵列，所述类脉动阵列中每个计算单元包含乘法器、加法器以及按位与和比较器。

所述基于脉动阵列的长短期记忆神经网络前向加速系统的进一步设计在于，所述类脉动阵列为32×32的类脉动阵列，最高支持32批次数据的并行处理。