[发明专利]一种面向稀疏二维卷积的运算方法和系统

说明书

本发明涉及一种面向稀疏二维卷积的运算方法和系统，利用稀疏二维卷积具有分块计算的特性，将稀疏二维卷积转化为规则的二维卷积，使得不用对原始的运算单元进行侵入式地修改，只需要增加一个控制单元，就能消除稀疏二维卷积的冗余计算，从而获得更高的计算效率。

技术领域

本发明涉及神经网络计算领域，特别涉及一种面向稀疏二维卷积的运算方法和系统。

背景技术

深度卷积神经网络已经广泛应用于图像识别，语音识别等领域。近年来面向深度卷积神经网络的计算芯片成为研究热点。二维卷积运算作为深度卷积神经网络的基本运算，其运算量占据了深度卷积神经网络总运算量的90％以上。因此，加速二维卷积运算，是加速深度卷积神经网络运算的关键。图1示出了二维卷积运算的示意图。

一个二维卷积运算的过程如下：卷积核重复与输入特征图的不同区域进行内积，得到输出特征图对应位置的输出。可以用以下计算公式表示：

其中，O(x,y)表示输出特征图中索引为(x,y)的象素点的值，K(i,j)表示卷积核中索引为(i,j)的象素点的值，I(x+i,y+j)表示输入特征图中索引为(x+i,y+j)的象素点的值，H和W分别为输入特征图的高度和宽度，R和S分别为卷积核的高度与宽度，E和F分别为输出特征图的高度和宽度。值得注意的是，输出特征图的索引值是从(1-R,1-S)开始计算，输入特征图和卷积核的索引值则从(0,0)开始计算。

随着深度卷积神经网络规模的扩大，使用现有的加速器并不能高效地处理规模越来越大的深度神经网络。神经网络模型的稀疏化是解决这一难题的途径之一。研究表明，稀疏化神经网络能够有效地减少神经网络参数中的冗余权重，并且不损失模型精度。很多研究工作通过剪枝、量化、压缩的方法，将现有的神经网络模型进行优化。例如，美国斯坦福大学[Han2015]采用网络剪枝以及量化的方法最神经网络的权重进行近似，减少了98％的权重。

稀疏化使得网络模型中存在大量的0值，将这些0值作为操作数的计算不对最后结果产生影响，所以这些0值的存储和计算都是冗余的。因此，模型的稀疏化使得神经网络模型中计算量和数据存储量大幅降低。然而，传统的稀疏卷积处理架构，[Cambricon-X]，[cnvlutin]，[SCNN]等，需要对运算阵列做侵入式地改动，才能支持稀疏卷积神经网络模型的运算。这样的做法开销太大，并且可扩展性不强。此外，这些设计还会带来对稠密卷积神经网络处理的兼容性问题。

发明人在进行稀疏卷积神经网络运算架构的研究时，发现现有技术没有考虑到稀疏二维卷积的计算特性，而是选择设计更复杂的运算单元来支持稀疏神经网络。发明人经过研究发现，稀疏二维卷积具有分块计算的特性，这一特性能够将稀疏二维卷积转化为规则的二维卷积，使得不用对原始的运算单元进行侵入式地修改，只需要增加一个控制单元，就能消除稀疏二维卷积的冗余计算。

发明内容

本发明的目的是提供一种克服现有的卷积运算架构设计在处理稀疏二维卷积时，没有消除冗余计算的功能，制约性能的提高，因此本发明提供一种稀疏二维卷积的运算系统，以消除稀疏卷积中的冗余计算。

本发明提供一种面向稀疏二维卷积的运算方法，包括：

步骤1，获取运算单元中乘累加阵列的阵列行数和列数，并根据该阵列的行数和列数，将输入特征图存储至输入特征缓存，将卷积核经过压缩处理后存储至卷积核缓存，并将初始化的输出特征图存储至输出特征图缓存，Pk指针指向该卷积核缓存中的第一行，Pi指针指向该输入特征图缓存中的第一行；

步骤2，根据卷积配置参数、该Pk指针指向的索引值、该Pk指针指向的地址和该Pi指针指向的地址，得到输出特征图缓存的地址，该卷积配置参数包括：该阵列行数、该阵列列数、该输入特征图的尺寸和该卷积核的尺寸；

步骤3，根据输出特征图缓存的地址，读取该输出特征图缓存中的数据，并将其存储至输出矩阵寄存器组；