[发明专利]一种流水式卷积计算架构设计方法及残差网络加速系统

说明书

本发明提供一种流水式卷积计算架构设计方法及残差网络加速系统，该方法将该硬件加速架构分为片上缓冲区、卷积处理阵列和逐点加法模块；设置该硬件加速架构的主路由三块串行排列的卷积处理阵列组成，在它们之间插入两块流水线缓冲区，用于实现主路的三层卷积的层间流水；设置第四卷积处理阵列用于并行处理残差积木块分支的内核大小为1×1的卷积层，通过配置第四卷积处理阵列中的寄存器，改变其工作模式，使其可用于计算残差网络头部卷积层或全连接层，当残差积木块的分支无卷积时，跳过第四卷积处理阵列不执行卷积；设置逐点加法模块将残差积木块主路的输出特征与分支快捷连接的输出特征执行对应输出特征像素逐元素相加。

技术领域

本发明涉及计算机视觉场景处理方法领域，更具体地，涉及一种流水式卷积计算架构设计方法及残差网络加速系统。

背景技术

卷积神经网络(CNN)在各种计算机视觉场景中使用广泛，并表现出了优越的性能。但是由于复杂密集的计算需求以及庞大的存储需求，使得在功耗敏感和实时性要求较高的的移动设备、嵌入式平台上部署和加速卷积神经网络成为一项挑战。

在卷积神经网络中，卷积层的计算时间占据网络总计算时间的90％以上，因此，卷积层运算的加速是卷积神经网络加速最重要的组成部分。卷积神经网络的加速器的设计应充分利用卷积神经网络中层与层之间、层内各个卷积核的并行度，同时针对网络模型的特征定制卷积运算模块。

现场可编程逻辑门阵列(FPGA)是专用集成电路中的一种半定制电路，是可编程的逻辑器件，随着半导体技术的不断升级和发展，现在主流的FPGA包含了丰富的逻辑计算，存储和布线资源，同时具有低功耗优势，使得研究人员有足够的设计空间来定制专用的卷积神经网络加速硬件结构，以充分利用卷积神经网络计算的并行特性来加速运算过程。

残差网络是近年来在计算机视觉领域备受关注的卷积神经网络模型，与传统卷积神经网络的逐层简单堆叠不同的是，残差网络采用了分支快捷连接构建了残差积木模块，有效解决了随着网络层数的加深，训练和测试精度退化问题，使得网络能够更容易的通过堆叠层数来提升性能。但是目前在FPGA上部署残差网络的相关研究数量较少。因为残差网络的层数较深，各层的尺寸有所不同，而且每两个或三个相邻的层之间使用了分支快捷连接对特征图像进行累加，这使得网络的结构高度不规则，与传统CNN相比，在FPGA上部署残差网络难度更高。目前的很多研究都是设计单个卷积处理阵列模块来处理残差网络的卷积运算，卷积处理阵列每次计算网络中的一层卷积，并通过中央处理器重复调用这一卷积处理阵列来逐层计算残差网络的所有卷积层。

残差网络的结构主要由带有分支快捷连接的残差积木模块堆叠构成(图1)，主路通常由内核尺寸为1×1、3×3和1×1的三层卷积层组成(因此也称为瓶颈积木块)，分支快捷连接存在两种情况：1)使用内核尺寸为1×1的卷积层计算输入特征，得到的结果再与主路的输出特征对应像素逐点相加；2)不进行任何处理，直接将输入特征数据与主路的输出特征对应像素逐点相加。

图2为现有的使用单一卷积处理阵列计算残差网络某一层的执行流程，每执行一次此流程，可完成残差网络的一层计算。现有的使用单一卷积处理阵列模块来加速卷积神经网络的解决方案适合用来处理传统的简单逐层堆叠结构的卷积神经网络模型，具有一定的通用性。但由于计算每层卷积计算开始前和计算结束后都需要访问一次外部存储器，而残差网络通常具有较深的网络层数，因此带来了大量的能量消耗和访存延迟；由于残差网络结构的特殊性，使用单一的卷积处理阵列只能串行执行残差积木块主路和分支快捷连接的卷积层后，再进行逐点相加，无法充分利用其结构的并行性；同时，残差网络卷积层的尺寸多样，使用单一的卷积处理阵列处理不同尺寸的卷积通常无法实现较高的硬件资源利用率。

发明内容

本发明提供一种较高的硬件利用率流水式卷积计算架构设计方法。

本发明的又一目的在于利用该流水式卷积计算架构设计方法设计一种残差网络加速器系统。

为了达到上述技术效果，本发明的技术方案如下：