[发明专利]一种基于FPGA的深度卷积神经网络的加速器

说明书

本发明公开了一种基于FPGA的深度卷积神经网络的加速器，所述加速器包括：快速卷积运算模块和二维卷积内存交互模块；所述快速卷积运算模块，用于将轻量的快速乘法和Winograd算法结合，实现深度卷积神经网络的快速卷积运算；所述二维卷积内存交互模块，用于在快速卷积运算过程中，将中间计算结果和权重采用梯形复用的内存交互优化策略进行片外和片内之间的数据传输，使片内外的数据交互达到最小。本发明的加速器一方面用快速乘法对Winograd卷积算法进行改进，进一步提高Winograd计算卷积的速度；另一方面提出了一种梯形复用的内存交互优化策略，它能减小片内外内存交互的时延。

技术领域

本发明涉及深度学习和FPGA领域，特别涉及一种基于FPGA的深度卷积神经网络的加速器。

背景技术

随着人工智能的普及，人们对方便生活的智能设备有了越来越高的需求，而DCNN(深度卷积神经网络)是图像处理中最重要的算法，DCNN的应用包括图像识别、目标检测等。但DCNN包含大量的计算，使它在GPU上运行会有很高的计算时延和功耗，这样DCNN很难应用于实时性要求高的场景，如机器人和自动驾驶汽车等应用。

为了提高DCNN的实时性，FPGA被用来对DCNN进行加速，因为FPGA的优点有计算速度快、低功耗和可编辑性。但是FPGA加速DCNN有很大的困难，DCNN有大量的计算，且需要大量权重，而FPGA上的资源有限。DCNN最主要的计算操作是卷积，它在FPGA上可以用乘法器和加法器实现，所以优化卷积操作能加速DCNN。DCNN包含大量的权重，而FPGA的片内缓存容量有限，需要将中间计算结果和权重存放在片外内存，每次取一批需要计算的数据进片内计算，这样会产生大量的内存交互，所以优化内存交互也能加速DCNN。所以FPGA加速DCNN主要是从计算加速和内存交互优化两个方面来完成。

计算加速主要是加速卷积操作，加速卷积的总体原则是降低计算的复杂度，减小计算量。目前常用的卷积加速算法有FFT、深度可分卷积和Winograd。快速傅里叶变换(FastFourier Transform,FFT)先将输入特征图和卷积核从时域转换到频域，在频域中两者只需相乘，最后将相乘结果转换回时域，由于卷积比乘法要复杂很多，FFT将时域的卷积转换到频域的乘法，能大大减低卷积计算的复杂度，所以FFT能加速卷积计算。但是，FFT还要考虑时域频域之间转换的计算代价。当输入特征图和卷积核的大小相近时，FFT总体上能加速卷积。当卷积核比较小时，FFT总体上很难加速卷积。目前，DCNN模型中的卷积核越来越小，从AlexNet中出现的11×11卷积核，到VGG中的3×3卷积核，这种卷积核尺寸相比输入特征图就很小了。因此，用FFT加速目前的DCNN不是很好的选择。深度可分离卷积(DepthwiseSeparable Convolution)将标准卷积分解为深度卷积(Depthwise Convolution)和逐点卷积(Pointwise Convolution)，这样分解的好处是能够显著减小计算量和所需的参数，并且这种高度结构化的卷积方式非常适合在FPGA上实现。但是，深度可分离卷积会损失一些准确率，所以它不适合准确率要求高的场合。Winograd类似FFT，将计算转换到另一个空间域，这样能减少乘法量，但略微增加了加法量。而在FPGA上，乘法的计算时间比加法要长，所以Winograd总体上能加快卷积计算。与FFT适合大尺寸卷积核不同，Winograd主要用于小尺寸卷积核的卷积加速，适合目前DCNN模型普遍小尺寸卷积核的情况。