[发明专利]基于卷积神经网络的块稀疏方法、装置及处理单元

说明书

本申请涉及数据处理技术领域，提供一种基于卷积神经网络的块稀疏方法、装置及处理单元，所述基于卷积神经网络的块稀疏方法，通过将维度为N×C×K×K的原始权重，转换为K²个C×K的重排权重，然后根据预设维度，将重排权重分割为多个数据块，最后根据预先设置的数据稀疏度，剪去所述多个数据块内冗余的非零值。对于数据块而言，剪去的是对数据块影响较小的数据，这可以减少稀疏对于训练精度的影响，因此可以达到较高的稀疏度，同时，在硬件设计时，解决传统训练加速器在处理稀疏张量时，存在的不同处理单元之间运算任务不平衡的问题，且在前向传播和反向传播过程中，避免造成权重数据在存储上的读写冲突。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种基于卷积神经网络的块稀疏方法、装置及处理单元。

背景技术

卷积神经网络(CNN)近年来被广泛的应用于人工智能的各个领域。在图像处理方面展现出了优越的性能。但是训练一个卷积神经网络往往需要大量乘累加运算，大量乘累加运算需要消耗大量的运算资源和运算时间。当卷积神经网络被部署在边缘设备上，使用用户的私有数据集进行进一步训练时，这种大量乘累加运算为网络的部署带来了极大的困难。

对此，一种有效的解决方案是通过剪枝技术，剪去权重网络中不重要的权重值，从而减少参数量，现有的剪枝技术可以分为两类：一类为结构化剪枝，另一类为非结构化剪枝，结构化剪枝以通道或层为单位进行剪枝，修剪完的稀疏模型比较规则，方便部署在传统硬件上进行计算，但是会对于网络的精度造成较大的影响；非结构化剪枝能够得到精度较好的稀疏模型。

对于非结构化剪枝的方法，一方面，一个典型的卷积神经网络，通常都包括大量的网络层，其中，最重要的网络层是卷积层，也是卷积神经网络中运算量最大的网络层，每一个卷积层都存在一组权重矩阵和一组输入的激活矩阵，其中，权重矩阵中包含大量的权重数据，激活矩阵中包含大量的激活数据。如图1所示，在训练神经网络时，卷积层的权重张量在前向传播和反向传播需要进行转置操作，这种转置操作导致在存储权重数据时，前向传播和反向传播需要的在内存上的数据排布是不一样的，换言之，如果在训练之前权重张量以卷积前向传播时所需的数据排布进行排列，则训练中，在进行反向传播时，就需要在内存上对权重张量重排后重新存储，否则就会造成读写上的冲突。由于在训练过程中，前向传播和反向传播是交替反复进行的，从而导致权重数据的重排造成额外的成本和资源消耗。

另一方面，对于一个传统的训练加速器，在处理稀疏张量时，尤其是面对非结构化稀疏，不同处理阶段的运算任务会不平衡，这是由于对于一个非结构化的稀疏，其稀疏0值在权重张量中的位置是不确定的。这导致不同处理单元(PE)在处理一块数据时，需要进行的乘累加的次数是不同的，如果加速器跳过了所有的零值计算，就会带来不同处理单元工作量的不平衡，如果一个数据块内的稀疏度高，则稀疏的零值就多，所需要进行的有效乘累加数量就较少，则需要更少的时钟去处理这一块数据；但是如果一个数据块的稀疏度低，稀疏零值就较少，则需要进行的有效乘累加数量就较多，这样的一种工作量的不平衡会导致不同处理单元之间数据流的混乱，导致加速器无法正常的完成运算任务。但是如果加速器在运算时，不跳过稀疏零值的计算，则非结构化稀疏带来的加速效果就会消失。

发明内容

为了解决现有技术中当卷积神经网络被部署在边缘设备上，使用用户的私有数据集进行进一步训练时，常规的剪枝方法，在训练过程中，导致权重数据的重排造成额外的成本和资源消耗，或者，不同处理单元的工作量，导致不同处理单元之间数据流混乱的问题，本申请实施例提供一种基于卷积神经网络的块稀疏方法、装置及处理单元。

本申请实施例第一方面提供一种基于卷积神经网络的块稀疏方法，所述基于卷积神经网络的块稀疏方法包括：