[发明专利]基于动态可重构并行计算的CNN硬件加速方法和加速器

说明书

本发明公开了一种基于动态可重构并行计算的CNN硬件加速方法和加速器，所述可重构并行计算方法为：首先根据用于运行CNN的实际硬件计算资源，设定计算CNN的总计算并行度Psubgt;总/subgt;；然后在满足Pc*Pf＝Psubgt;总/subgt;的条件下，根据CNN各卷积层的输入通道个数C和输出通道个数F，动态地确定该卷积层对应的Pc和Pf的取值，进而使用Pc个MAC单元对该卷积层输入特征图进行不同输入通道之间的并行卷积计算，以及同时使用Pf个MAC单元对该卷积层不同输出通道之间的并行卷积计算。本发明可以根据不同卷积层的输入和输出通道数，对输入通道和输出通道两个方向的并行度进行动态调整，提高CNN的总体计算效率。

技术领域

本发明涉及人工智能领域，尤其涉及一种基于动态可重构并行计算的CNN硬件加速方法和加速器。

背景技术

卷积神经网络(CNN)近年来取得了巨大的成功，已经被广泛应用于图像分类【1】，目标识别【2】，人脸检测【3】，语义分割【4】等实时处理系统中。然而由于卷积神经网络算法的计算量相对于传统算法特别大，严重限值了其在边缘计算和实时系统中的应用，尤其是面向计算资源有限的FPGA器件等。

卷积神经网络主要由卷积层和非线性层(池化层、激活层等)组成，其主要计算量集中在卷积层，并且卷积层的计算具有高度并行性，采用并行计算架构来加速卷积神经网络的方法得到了广泛关注和应用。

卷积层的运算伪代码如图1所述，采用并行计算的技术基本思想是对其中的for循环进行展开和并行计算，以减少算法的运算时间。因此，可以采取的并行计算方向主要包括：1)卷积核计算并行(Pk)，对应于对循环1和2的展开，以并行计算一个卷积窗口；2)输出特征图数据的高度或者宽度的计算并行(Pv)，对应于循环3或者4的展开，以并行计算多个输出数据；3)输入特征图不同通道之间计算并行(Pc)，对应于循环5的展开，以并行计算不同输入通道的数据；4)不同输出通道之间计算并行(Pf)，对应于循环6的展开，以并行计算不同输出通道的数据。

由于计算资源的限制，现有的设计方法往往采取其中的1～3个并行度进行计算加速，例如文献【5，6，7】使用了Pc和Pf的并行度，文献【8,9】采用了Pk，Pv和Pf的并行度，文献【10】采用了Pk、Pc、Pf的并行度，文献【11】采用了Pv和Pf方向的并行度。现有技术所设计的并行度大小主要依赖于实际硬件计算资源的数目。

现有采用并行计算技术的方案主要存在以下主要问题：1)使用Pk方向的并行度只适用于固定大小的卷积核(如3*3)，不能通用于采用不同卷积核的CNN网络，也不能通用于不同形式的CNN(如VGG，AlexNet等)；2)使用某些维度的计算并行度容易带来计算资源的浪费，例如采用Pv的设计，由于卷积层的宽度和高度往往不都被Pv整除，因此带来计算资源的浪费，计算效率不高；采用Pc的设计，由于第一层C＝3，并行度较低，不能充分利用资源，在计算第一层也会带来计算效率的下降；3)现有方法在每个计算维度上的并行度都是固定的，一旦硬件设计完成其并行度不能变化，而卷积神经网络每一层的数据大小(H、W、C、F)都不一样，总体而言宽度和高度方向随着层数的增加，越来越少；而输入通道逐层增加，因此现有方案只在某几层上具备较高计算效率，而在其他层或者其他网络上计算效率很低，从而导致总体的计算效率很低，或者在不同的网络结构上不具备通用性。

总体而言，现有基于并行计算技术的方案采用固定的并行度设计，由于卷积神经网络结构的特点，无法在CNN每一层上面都具备较高效率，导致计算资源无法充分利用，并且在不同网络结构和不同FPGA器件上的计算效率差异很大。

发明内容

本发明提供一种基于动态可重构并行计算的CNN硬件加速方法和加速器，可以根据不同卷积层的输入和输出通道数，对Pc和Pf两个方向的并行度进行动态调整，提高CNN的总体计算效率。

为实现上述技术目的，本发明采用如下技术方案：