[发明专利]一种针对硬件实现稀疏化卷积神经网络推断的加速方法

说明书

本发明公开一种针对硬件实现稀疏化卷积神经网络推断的加速方法，包括面对稀疏硬件加速架构的分组剪枝参数确定方法、针对稀疏硬件加速架构的分组剪枝训练方法和针对稀疏化卷积神经网络前向推断的部署方法：根据硬件架构中乘法器数量确定分组剪枝的分组长度和剪枝率，基于量级裁剪方式将压缩率以外的权值进行裁剪，通过增量训练方式提升剪枝后的网络准确率及压缩率，剪枝过的网络经微调后保存非剪枝位置的权值和索引参数并送入硬件架构下的计算单元中，计算单元同时获取分组长度的激活值完成稀疏网络前向推断。本发明基于硬件架构出发设定算法层面的剪枝参数与剪枝策略，有益于降低稀疏加速器的逻辑复杂度提高稀疏加速器前向推断的整体效率。

技术领域

本发明属于电子信息和深度学习技术领域，特别涉及一种针对硬件实现稀疏化卷积神经网络推断的加速方法。

背景技术

神经网络模型是对生物神经网络学习系统的数学表达。近些年来，随着计算能力的加强和大规模数据集的产生，神经网络模型被越来越多的应用在图像分类，物体检测等机器视觉领域中。

然而，从利用神经网络模型解决问题过程来看，人们常常倾向于设计更深更庞大的卷积神经网络(convolutional neural network，简称CNN)收集更多的数据以期获得更好的效果。但随着模型的复杂度增加，模型参数越来越多，模型规模和需要的计算浮点数也越来越大，这对硬件资源(内存、CPU利用率)带来了更高的要求，不利于模型在存储空间、续航受限的设备上部署使用。

针对神经网络模型的特点，对神经网络模型进行压缩，剔除冗余信息，是解决上述问题的一类方法。即将一些不重要的权重强制置零，从而使整个网络稀疏化。目前已经提出了许多剪枝算法，但是主要集中于被剪掉的权重数量上，很少会考虑剪枝后的整体网络在ASIC或FPGA加速器架构上部署的复杂度。当被剪枝后的网络在硬件加速器平台上运行时，会出现如内部缓冲区不对齐和负载不平衡等问题，使整个加速器架构低效化。

发明内容

本发明的目的，在于提供一种针对硬件实现稀疏化卷积神经网络推断的加速方法，使得硬件架构对应于同时获取的激活的每个权重组保持相同数量的权重，提高整体硬件平台计算效率，降低稀疏加速器的逻辑复杂度。

为了达成上述目的，本发明的解决方案是：

一种针对硬件实现稀疏化卷积神经网络推断的加速方法，首先确定分组剪枝参数，然后基于确定的参数训练卷积神经网络，最后构建针对稀疏化卷积神经网络前向推断的整体架构。

上述确定分组剪枝参数的方法是：

S1：确定分组剪枝的分组长度g，剪枝方向可选择为滤波器方向或通道方向。所述稀疏计算单元的获取组长度g可以与乘法器个数N_mul相同，所述激活值与权值获取组的长度决定稀疏卷积网络加速器的内部缓冲区大小。

S2：根据预期设定的压缩率Δ＝1-p/g定义，其中p/g为所述分组长度中待剪枝权值占整体分组长度的比值，确定相同分组长度下的非剪枝权值数，经本发明提出的分组剪枝手段最终保留剪枝后非剪枝权值与其索引，所述非剪枝权值的索引数量决定着硬件计算单元实际需要的乘法器数量和计算周期。

S3：基于量级的裁剪方式，根据权值的大小来评判其重要性，确定待剪枝的获取组剪枝阈值ε。由S1、S2确定所述分组长度中全部g个权值经过量级排序后挑选前p个较小权值进行裁剪。

上述训练卷积神经网络的方法是：

T1：按照正常流程训练一个卷积神经网络如AlexNet；

T2：确定一个待剪枝的层后据所述S1、S2和S3设定的参数方法划分待修剪的权值获取组，设定待裁剪阈值或比例；