[发明专利]一种面向稀疏卷积神经网络的加速器及加速方法

说明书

本发明面向稀疏卷积神经网络的加速方法，包括：S1，根据稀疏卷积神经网络中稀疏卷积核的非零权重的重要性，将稀疏卷积核中的非零权重进行聚集和重排，得到重排卷积核；S2，根据重排卷积核中非零权重的索引对输入块进行扩张，得到扩张输入块；S3，对扩张输入块中的特征图子块进行累加，得到累加块，将累加块与重排卷积核进行卷积运算并取平均值，得到卷积结果；或者，根据扩张输入块中特征图子块的重要性对特征图子块进行筛选，得到候选块，将候选块与重排卷积核进行卷积运算，得到卷积结果。本发明在改善网络结构的同时能大幅度降低稀疏卷积神经网络模型中的冗余运算量。

技术领域

本发明涉及卷积神经网络加速器，具体涉及一种面向稀疏卷积神经网络的加速器及加速方法。

背景技术

卷积神经网络(Convolutional Neural Network，CNN)是一种带有卷积结构的深度神经网络。区别于普通的人工神经网络，CNN具有局部感受野，通过权值共享以及池化运算有效地降低了神经网络的参数量，缓解了过拟合问题。同时，由于具备平移、旋转以及尺度缩放等变换方式的不变性，CNN在目标识别、分类等任务上体现出了巨大的优势和潜力，因此被广泛应用于图像处理、语音识别、自动驾驶以及自然语言处理等领域。

随着CNN的广泛应用，为其定制硬件加速器，从而加速其推理过程成为了当前研究的重点之一。然而，随着CNN被用于执行越来越复杂的任务，其网络层数与规模也快速增长，因此为卷积神经网络加速器带来了巨大的存储与计算开销。在此背景下，神经网络剪枝技术通过移除网络模型中的大量冗余参数以得到稀疏的CNN模型，在不显著影响神经网络性能的同时实现了参数量和运算量的大幅削减。因此，为稀疏CNN定制硬件加速器，通过利用其稀疏特征从而提升加速器性能成为了当前CNN加速研究的主流方向之一。

根据CNN的稀疏性，稀疏CNN加速器可以分为面向结构化稀疏的CNN加速器以及面向非结构化稀疏的CNN加速器。由于结构化稀疏的神经网络模型具有规则的网络结构，因此面向结构化稀疏的硬件加速器往往具有简单规整的硬件架构，其包括哈尔滨工业大学提出的MPBF加速器以及浙江大学提出的带有VGM模块的硬件加速器。而非结构化稀疏由于其使用了灵活的剪枝方式，可以在模型性能相同的情况下实现更高的稀疏度，因此很多研究人员通过定制面向非结构化稀疏的硬件加速器来寻求更高的加速性能。相关的工作包括清华大学提出的STICKER处理器以及萨拉戈萨大学等联合提出的APA加速器。

现有硬件加速器依然存在以下问题：

1、面向结构化稀疏的加速器具有较为简单和规整的硬件结构。但是其性能受限于结构化稀疏导致的较低的稀疏度。

2、面向非结构化稀疏的加速器虽然可以利用其较高的稀疏度，但是其导致的不规则网络结构会给加速器性能提升带来不利影响。

3、现有研究通常针对卷积层内的运算进行优化，忽略了从卷积层与池化层结合的角度对卷积层中的冗余运算进行削减。

发明内容

为了解决上述现有技术的问题，本发明提供一种面向稀疏卷积神经网络的加速器及加速方法，既能改善网络结构同时还大幅度降低模型中的冗余运算量。

本发明通过以下技术方案实现：

一种面向稀疏卷积神经网络的加速方法，包括：

S1，根据稀疏卷积神经网络中稀疏卷积核的非零权重的重要性，将稀疏卷积核中的非零权重进行聚集和重排，得到重排卷积核；

S2，根据重排卷积核中非零权重的索引对输入块进行扩张，得到扩张输入块；

S3，对扩张输入块中的特征图子块进行累加，得到累加块，将累加块与重排卷积核进行卷积运算并取平均值，得到卷积结果；或者，根据扩张输入块中特征图子块的重要性对特征图子块进行筛选，得到候选块，将候选块与重排卷积核进行卷积运算，得到卷积结果。