[发明专利]一种神经网络剪枝方法及装置

说明书

一种神经网络剪枝装置，包括：存储模块、预处理模块、执行模块以及运算结果缓冲模块；存储模块，用于存储神经网络的权重矩阵和特征矩阵并且为预处理模块提供权重矩阵中的权值与特征矩阵中的特征值的操作数；预处理模块，用于计算存储模块提供的操作数的前导0的个数和，并且当前导0的个数和大于等于一精度阈值时，操作数不送入执行模块，直接得到一近似结果并将近似结果写回运算结果缓冲模块，否则，将操作数送入执行模块进行运算；执行模块，用于对预处理模块送入的操作数进行运算，并将一运算结果写回运算结果缓冲模块；运算结果缓冲模块，用于存储近似结果和运算结果。

技术领域

本发明涉及计算机体系结构技术领域，尤其涉及一种神经网络剪枝方法及装置。

背景技术

神经网络算法是人工智能领域一个重要的算法，在语音识别、图像识别、自然语言处理等应用场景表现出极佳的效果。常见神经网络模型具有数百甚至数十亿的参数，使用传统的CPU对网络进行训练是不可行的，使用具有高计算能力的GPU才能让网络得以相对快速训练。在通常情况下，对于1个包含5个卷积层和3个完全连接层的6000万参数的网络，即使使用性能顶级的GPU来训练整个模型仍需要花费两到三天时间。对于使用全连接的大规模网络，其参数规模甚至可以达到数十亿量级，使用GPU进行训练的时间会更长。

因此，针对神经网络训练和推理的优化技术被大量提出，如神经网络压缩技术。常见的网络压缩技术包括剪枝、量化、蒸馏等，且都体现出了较好的效果。

剪枝技术的目的是减少计算量，剪枝技术可分为粗粒度剪枝和细粒度剪枝，细粒度的剪枝是对权重进行剪枝，粗粒度的剪枝是对过滤器或者通道进行剪枝。剪枝技术可能会对网络的结构进行修改，会带来精度的损失。而且，对网络进行结构的修改，可能会裁剪掉重要的特征，对网络的效果造成影响。

此外，现有的剪枝技术大多为通过软件层面实现的技术。

发明内容

本发明的目的是解决上述现有技术的精度降低、计算资源消耗大的问题，提供了一种神经网络剪枝方法及装置。

为了实现上述目的，本发明提供了一种神经网络剪枝方法，其包括：步骤1、将神经网络的权重矩阵中的权值和特征矩阵中的特征值归一化为n比特的操作数；步骤2、计算对应的所述权值与所述特征值的操作数的前导0的个数和；步骤3、判断所述前导0的个数和是否大于等于一精度阈值，如是，则不进行所述操作数的运算并且得到一近似结果，如否，进行所述操作数的运算并且得到一运算结果。

上述的神经网络剪枝方法，其中，所述精度阈值通过以下步骤得到：步骤4、设置初始阈值并选取训练数据集；步骤5、使用神经网络在所述训练数据集上根据所述初始阈值进行推理，得到一准确率；步骤6、判断所述准确率是否大于等于一预设准确率，如是，则输出所述初始阈值并作为所述精度阈值，如否，则以一预设步长增加所述初始阈值并返回步骤5。

上述的神经网络剪枝方法，其中，所述近似结果为0。

本发明还提供了一种神经网络剪枝装置，其包括：存储模块、预处理模块、执行模块以及运算结果缓冲模块；其中，所述存储模块，用于存储神经网络的权重矩阵和特征矩阵并且为所述预处理模块提供权重矩阵中的权值与特征矩阵中的特征值的操作数；所述预处理模块，用于计算所述存储模块提供的所述操作数的前导0的个数和，并且当所述前导0的个数和大于等于一精度阈值时，所述操作数不送入所述执行模块，直接得到一近似结果并将所述近似结果写回所述运算结果缓冲模块，否则，将所述操作数送入所述执行模块进行运算；所述执行模块，用于对所述预处理模块送入的所述操作数进行运算，并将一运算结果写回所述运算结果缓冲模块；所述运算结果缓冲模块，用于存储所述近似结果和所述运算结果。