[发明专利]一种基于FPGA平台的深度学习模型加速方法

摘要

本发明公开了一种基于FPGA平台的深度学习模型加速方法。本发明在硬件平台设计上采用流式架构，通过将训练好的模型参数加载到FPGA片上内存，利用其可编程的硬件特性实现模型推理加速。在模型移植过程中，本发明从数据传输、数据存储访问、数据处理流程和卷积计算四个方面分别进行优化，使得系统可以充分利用FPGA的并发优势，并可以针对不同FPGA平台的资源特点选择优化参数，充分利用其丰富的片上资源，实现模型推理的加速。本发明在仅损失原模型很小的精度的情况下，实现了同等功耗下系统吞吐量的成倍提升，具备将深度学习模型大规模部署到资源受限场景中的能力。

主权项

1.一种基于FPGA平台的深度学习模型加速方法，所述FPGA平台配置有DDR4片下数据存储器和BRAM片上存储器；其中，BRAM用于深度学习模型参数及推理过程中产生的待处理输入数据，DDR4用于存储输入数据和输出结果；其特征在于，包括：S1、对FPGA平台的硬件进行配置：根据目标深度学习模型的结构，将FPGA硬件划分为对应的多个硬件快，使得每个硬件快对应执行一个卷积层，所有的硬件快连接起来形成流水线处理，使各卷积层的运算可以并行运行；S2、对目标深度学习模型进行量化：根据选定的FPGA平台的性能以及设定的性能指标要求，设定比特位数，将目标深度学习模型的参数进行比特数的量化；S3、通过HLS高级综合工具对深度学习模型的训练过程进行配置，实现对深度学习模型的加速，具体包括：S31、将量化后的参数模型存储在BRAM中，并通过乒乓操作提高BRAM的使用效率；S32、对写入全局内存的数据采用内存访问模式进行访问，在HLS指令同时访问多个片上内存系统时，控制编译系统聚合的内存系统小于5个；S33、指定#pragma pipe指令来进行流水线复制；S34、采用循环卷积，并进行循环平铺，对完全独立的循环层进行循环展开和对循环流水进行切割，将循环切割后的小块进行并行执行；S4、根据上述配置，将深度学习模型移植到FPGA平台中。