[发明专利]一种基于FPGA的R(2+1)D网络硬件加速器(2+1)D卷积硬件结构

说明书

本发明公开了一种基于FPGA的R(2+1)D网络硬件加速器(2+1)D卷积硬件结构，所述的硬件结构包括部署在FPGA上的加速器核；所述的加速器核通过AXI4总线与DDR相连，与DDR进行特征图和权重数据的交互；所述的加速器核还通过AXI4‑lite总线与host相连，host通过AXI4‑lite总线读写加速器核中的配置寄存器；所述的加速器核包括卷积模块、池化模块和全连接模块；所述的卷积模块负责整个加速器核90％以上的计算量和存储量，负责进行卷积计算和逐元素加法操作；所述的池化模块和全连接模块负责网络最后的平均池化和全连接层计算；所述的卷积模块采用流水式(2+1)D卷积硬件架构。

技术领域

本发明涉及计算机识别技术领域，更具体的，涉及一种基于FPGA的R(2+1)D网络硬件加速器(2+1)D卷积硬件结构。

背景技术

在视频动作识别、三维医学图像诊断等领域，三维卷积神经网络(3D CNN)的到了广泛的应用并取得可观的识别效率和精度。3D CNN中的卷积计算方法为如图1所示的三维卷积(3D Conv)，和传统的应用于图像识别等领域的二维卷积神经网络中的二维卷积(2DConv)相比，3D Conv的输入输出特征图和卷积核都是三维的，这样可以提取不同帧之间的时间维度特征信息，标准3DCNN(C3D)采用的就是这种卷积方式。

然而标准的3D Conv计算量极大且非常消耗存储资源，而且3D Conv并没有将时间特这和空间特征加以区分，而是笼统的去做3D Conv，这样就产生了不必要的计算负担。因此产生了一系列3D CNN的变体，其中R(2+1)D CNN很好的解决了这一问题并表现出了卓越的准确性并显著减少了参数量。ResNet(2+1)D网络(R(2+1)D)采用的是如图2所示的(2+1)D卷积((2+1)D Conv)，(2+1)D Conv将3D Conv分解为两个独立且连续的2D空间卷积和1D时间卷积，(2+1)D Conv和3D Conv相比主要有两个优点：第一个优点是这两个操作之间的附加非线性校正。与对相同数量的参数使用全3D卷积的网络相比，这有效地将非线性数量加倍，从而使模型能够表示更复杂的函数。第二个潜在的好处是分解有助于优化，在实践中产生较低的训练损失和较低的测试损失。R(2+1)DCNN在包括UCF101、Kinetics和Sports-1M在内的视频数据集上实现了最先进的性能。

如图3为R(2+1)D的网络结构，主体由stem层、四个layer层、平均池化层和全连接层构成。stem包含一个1×7×7的2D卷积和一个3×1×1的1D卷积。layer由两个Block构成，如图4，每个Block包含两个(2+1)D卷积，Block中包含一个shortcut连接，shortcut连接中可能包含一个1×1×1卷积。表1为R(2+1)D网络的参数信息。

表1R(2+1)D网络的结构和参数信息

目前3D CNN的加速器设计主要针对的是3D Conv，这种卷积的加速方法应用在(2+1)D Conv上计算效率不是很高，而且很多设计采用了3D winograd算法，这种算法应用在维度、尺寸和步长变化较大的R(2+1)D CNN上收益不是很明显，面向R(2+1)D这种结构的网络的加速器目前还没有得到充分的研究与探索。

发明内容

本发明为了解决面对3D CNN庞大的计算量和存储需求，现有技术把整个网络放到FPGA片上采用全流水的架构导致存在的不足与缺陷的问题，提供了一种基于FPGA的R(2+1)D网络硬件加速器(2+1)D卷积硬件结构。

为实现上述本发明目的，采用的技术方案如下：

一种基于FPGA的R(2+1)D网络硬件加速器(2+1)D卷积硬件结构，所述的硬件结构包括部署在FPGA上的加速器核；

所述的加速器核通过AXI4总线与DDR相连，与DDR进行特征图和权重数据的交互；