[发明专利]加速计算二维图像CNN卷积的方法

说明书

本公开提供了一种加速计算二维图像CNN卷积的方法，包括：数据以流水线方式排布输入FIFO，卷积窗口在FIFO内成为平行四边形，卷积运算在行和列方向上同时重用数据；根据PE计算单元数量及对速度的要求，PE计算单元采用并行加速计算方法或串行加速计算方法，输出特征图像。本公开的方法有助于硬件单元的设计，对片上存储容量要求低；所有数据以流水线的方式进行处理，不仅最大化地重用了数据，而且并行地执行了若干卷积运算，大幅提高了吞吐率和执行效率。

技术领域

本发明涉及在硬件上高效加速计算二维图像CNN卷积的方法，有效减少访问外部存储、提高吞吐率和执行效率。

背景技术

深度学习在诸多场景有着广泛应用，如无人机、无人驾驶等。在终端应用领域，FPGA(Field Programmable Gate Array-FPGA)作为硬件平台加速深度学习算法，具有成本低、功耗小、速度快、灵活可配置等优点，有着非常好的应用前景。

卷积神经网络CNN(convolutional neural network)是深度学习模型的基础，最新代表性的AlexNet、VGG、GoogleNet、ResNets、DenseNet、SqueezeNet等算法均采用了CNN的思想。然而，这些具有实际应用价值的算法计算量非常庞大、对存储和带宽要求极高。若采用传统FPGA设计方法，即使当前最先进FPGA的资源量也远远不能满足要求。这是因为卷积核滑过图像不同区域进行卷积时，会有大量的数据被多次使用，而片上存储空间有限、无法同时存储输入图像和输出特征图像及中间结果。当前普遍采用时分复用的思想来实现深度学习算法，比如深鉴科技的亚里士多德(Aristotle)结构。由于输入图像、卷积核和输出特征图像都要存储在外部存储器上，带宽是影响性能的瓶颈之。

卷积运算在整个算法中计算量超过90％，主要为点积运算，需要大量的乘法器单元，是影响性能的另一个瓶颈。当前，实现点积运算的有以下几种方法：其一，用一个乘法器和一个加法器不断地做乘法和累加运算(即乘累加MAC)；其二，先并行地做乘法再做累加，形成若干乘法器的输出接入到一棵加法树的结构；其三，搭建一个ALU单元，不仅可以执行卷积还可以执行pooling等运算。FPGA乘法器的数量决定了卷积运算的并行度和卷积单元的数量。

图1为二维CNN卷积示意图，如图1所示，输入图像经过一个卷积核的卷积会得到一张图像，多个卷积核卷积后将多张二维特征图像堆叠起来形成一个三维的输出特征图像。在此过程中，每个卷积核都会对输入图像的相同位置进行卷积，因此输入图像的数据可以在多个卷积间共用。数据重用方式对加速器结构设计非常重要，不仅影响片上存储空间的使用、还会影响到吞吐率等。

现有的加速计算方法受限于FPGA乘法器数量、片上存储容量、带宽、算法规模等，常常造成某些数据不能重用或某些资源未能充分利用、计算效率低等问题。为了解决相同数据被多次访问外存带来的带宽瓶颈和CNN卷积对片上存储和乘法器的大量开销，迫切需要一种加速计算方法，能够有效减少数据访存次数、提高片上存储使用效率，并以流水线方式同时完成多个卷积运算，从而获得较高的吞吐率。

公开内容

(一)要解决的技术问题

本公开提供了一种加速计算二维图像CNN卷积的方法，以至少部分解决以上所提出的技术问题。

(二)技术方案

根据本公开的一个方面，提供了一种加速计算二维图像CNN卷积的方法，包括：数据以流水线方式排布输入FIFO，卷积窗口在FIFO内成为平行四边形，卷积运算在行和列方向上同时重用数据；根据PE计算单元数量及对速度的要求，PE计算单元采用并行加速计算方法或串行加速计算方法，输出特征图像。

在本公开一些实施例中，所述的数据以流水线方式排布进入FIFO包括：将矩形方式表示的原始输入图像数据以流水线方式排布后，每行数据相对上一行向右错开一列或多列，整体形成一个平行四边形，