[发明专利]用于加速神经网络处理器的方法和系统及神经网络处理器

说明书

技术领域

本发明涉及神经网络处理器，尤其涉及加速神经网络模型计算的方法。

背景技术

深度学习近些年来取得了重大突破，采用深度学习算法训练的神经网络模型在图像识别、语音处理、智能机器人等应用领域取得了令人瞩目的成果。深度神经网络通过建立模型来模拟人类大脑的神经连接结构，在处理图像、声音和文本等信号时，通过多个变换阶段分层对数据特征进行描述。随着神经网络复杂度的不断提高，神经网络技术在实际应用过程中存在占用资源多、运算速度慢、能量消耗大等问题。采用硬件加速器替代传统软件计算的方法成为提高神经网络计算效率的行之有效方式，例如利用通用图形处理器、专用处理器芯片和现场可编程逻辑阵列(FPGA)实现的神经网络处理器。

目前神经网络处理器通常将已训练好的权重数据作为输入信号与数据信号一起进行片上运算操作。神经网络处理器属于计算密集型和访存密集型处理器。神经网络运算过程中存在大量的参数迭代，计算单元需要对存储器进行大量访问。随着神经网络数据规模的不断增长，密集访存操作不仅占用神经网络处理器的大量片上资源，还降低了其运算速度。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种改善神经网络处理器运算速度的方法及对应的神经网络处理器。

本发明的目的是通过以下技术方案实现的：

一方面，本发明提供了一种用于加速神经网络处理器的方法，所述方法包括：

步骤1)对于待加载的神经网络模型的数据分组和权重分组，提取非零元素并设置各分组的位置标记，每个分组的位置标记指示该分组中相应位置的元素是否为零；

步骤2)将各数据分组和权重分组的非零元素及位置标记加载至神经网络处理器的存储单元中；

步骤3)基于所述位置标记对数据和权重进行匹配，仅将处于相同位置且相应位置的元素都不为零的数据和权重加载至神经网络处理器的计算单元参与运算。

上述方法中，还可包括从来自神经网络处理器的计算单元的输出数据中提取非零元素及其位置标记，并将其保存到数据存储单元。

上述方法中，步骤3)可包括：

将数据分组的位置标记的二进制形式中各个位与权重分组的位置标记的二进制形式中各个位进行顺序比对；

将位置相同且同为1的位所对应位置的数据和权重加载至神经网络处理器的计算单元参与运算。

又一方面，本发明提供了一种神经网络处理器，包括控制单元、计算单元、权重存储单元、数据存储单元，数据匹配单元，其中控制单元用于控制相关数据的调度、运算与存储；权重存储单元存储已经训练好的神经网络权重分组中非零元素及其位置标记；数据存储单元存储神经网络原始数据分组及中间结果数据中非零元素及其位置标记；数据匹配单元用于基于位置标记对来自所述权重存储单元的权重和来自数据存储单元的数据进行匹配，仅将相同位置且相应位置的元素都不为零的数据和权重加载至计算单元中。

在上述的神经网络处理器中，还可包括数据压缩单元，用于从来自计算单元的输出数据中提取非零元素和设置位置标记，并将其保存到数据存储单元。

在上述的神经网络处理器中，数据匹配单元可包括一个或多个比较器。

在上述的神经网络处理器中，数据压缩单元可包括输入寄存器、输出寄存器和比较器，输入寄存器接收来自计算单元的数据，通过比较器判断该数据是否为零值，如果不为零则将该数据及对应的寄存器编号载入至输出寄存器中同时将标记位记为1。

又一方面，本发明提供了一种用于加速神经网络处理器的系统，所述系统包括：

数据预处理装置，用于对待加载的神经网络模型的数据分组和权重分组，提取非零元素并设置各分组的位置标记，每个分组的位置标记指示该分组中相应位置的元素是否为零，以及用于将各数据分组和权重分组的非零元素及位置标记加载至神经网络处理器的存储单元中；

数据匹配装置，基于所述位置标记对数据和权重进行匹配，仅将处于相同位置且相应位置的元素都不为零的数据和权重加载至神经网络处理器的计算单元参与运算。

上述系统还可包括数据压缩装置，从来自神经网络处理器的计算单元的输出数据中提取非零元素及其位置标记，并将其保存到数据存储单元。

上述系统中，所述数据匹配装置可被配置为：

将数据分组的位置标记的二进制形式中各个位与权重分组的位置标记的二进制形式中各个位进行顺序比对；