[发明专利]一种基于FPGA平台的深度学习模型加速方法

说明书

本发明公开了一种基于FPGA平台的深度学习模型加速方法。本发明在硬件平台设计上采用流式架构，通过将训练好的模型参数加载到FPGA片上内存，利用其可编程的硬件特性实现模型推理加速。在模型移植过程中，本发明从数据传输、数据存储访问、数据处理流程和卷积计算四个方面分别进行优化，使得系统可以充分利用FPGA的并发优势，并可以针对不同FPGA平台的资源特点选择优化参数，充分利用其丰富的片上资源，实现模型推理的加速。本发明在仅损失原模型很小的精度的情况下，实现了同等功耗下系统吞吐量的成倍提升，具备将深度学习模型大规模部署到资源受限场景中的能力。

技术领域

本发明涉及一种基于FPGA平台的深度学习模型加速方法。

背景技术

近年来，深度学习算法持续火热，在图像处理、自然语言处理等传统领域深度学习都取得了巨大的成功，一大批优秀可靠的算法不断涌现。虽然目前大量应用卷积神经网络的算法在图像识别大赛上大放异彩，但是其庞大的参数量需要强大的算力来支撑，而在实际应用场景下计算平台通常不具备足够的计算资源。因此针对这一问题，学界和工程应用领域都提出了不同的解决方案。其中，对模型进行压缩和使用硬件平台进行加速是主流研究方向。

当下的硬件计算平台主要有有CPU,GPU,FPGA以及ASIC芯片，由于FPGA相对CPU和GPU有更好的功耗比，相比ASIC研发周期短且更新迭代更灵活，实验OPENCL能够很快实现深度学习算法迭代。此外，使用RTL语言编写的代码，能够用于芯片前端设计，以及其具备的大量的DSP计算资源和用于深度学习算法的并行计算能力。FPGA受到了众多研究人员和工程师的青睐。随着基于FPGA的深度学习算法加速研究的不断深入，基于FPGA平台的深度学习算法加速遇到了一些挑战，其中一个主要问题是：计算吞吐量不能很好的匹配内存带宽。

由于深度学习算法通常是在GPU/CPU端训练而成，所以为了使得基于FPGA的加速器能够获得较高的性能，需要在设计前对算法模型进行适当的优化，使得算法本身能够适用于FPGA硬件本身。但是基于FPGA的算法移植也存在一定的缺陷和挑战性。研究人员发现即使基于相同的FPGA器件在移植相同算法模型时，由于采用不同的优化方案，性能相差多达90％。因此，寻求一种性能稳定、加速效果优秀的移植和优化方法是所有研究人员共同追求的目标。

发明内容

针对上述存在的问题或不足，为了解决FPGA平台计算资源或内存带宽没有有效利用造成的移植后算法加速效果不佳的问题，本发明通过对原模型参数进行量化，并从数据传输、数据存储访问、数据处理流程和卷积计算四个方面针对目标硬件进行优化，将其移植到FPGA平台上实现硬件加速。大幅提高了原模型的推理速度，实现了系统吞吐量的成本增加，并且精确度不会有太大的损失。

本发明的技术方案是：

一种基于FPGA平台的深度学习模型加速方法，包括以下步骤：

步骤1：采用流式架构设计深度学习模型加速的硬件架构，将FPGA硬件划分为不同的硬件块，每个硬件块对应执行一个卷积层，将所有硬件块连接起来形成流水处理。

步骤2：对要移植的目标模型参数选择合适的量化位数进行量化。由于FPGA片上存储、计算资源的限制，需要对模型进行适当的优化，降低庞大的参数量对系统带宽和计算能力的要求。

步骤3：通过HLS高级综合工具进行配置，实现深度学习模型的加速，包括：

步骤31、对数据的传输进行配置。通过将量化后的模型参数尽可能存储于片上内存，并且在数据传输量不变的情况下，利用片上闲置的计算资源，尽可能地提高对数据的复用。并且在缓存部分使用双缓存，通过“乒乓”操作来提高片上内存的使用效率。这部分的优化可以提高内存数据的访问速度，进而达到模型加速的效果。