[发明专利]面向数据流神经网络加速器设计的架构自动优化方法

说明书

本发明属于人工智能技术领域，具体涉及一种面向数据流神经网络加速器设计的架构自动优化方法。提出前馈数据流架构FPGA加速器网络层间FIFO深度仿真计算方法、计算存储资源分配方法。提高了数据流神经网络加速器架构优化参数搜索速度，减少加速器设计过程中由于手动优化调参、综合布线所耗费大量时间。并通过自动搜索的并行度和FIFO参数保证了网络各计算单元高效流水，可以得到更为合理高效的设计方案。本方法简化了神经网络算法到FPGA加速器实现的过程，减少了用户对神经网络加速器设计师的依赖，使算法设计师无需硬件设计经验便可轻松使用，提高了工具易用性。

技术领域

本发明属于人工智能技术领域，具体涉及一种面向数据流神经网络加速器设计的架构自动优化方法。

背景技术

近年来卷积神经网络得到了广泛应用，在图像处理、语音识别、数据分析等领域取得了很大成功。但目前主流的卷积神经网络算法，往往包含数百万个浮点参数和数十亿次浮点运算，传统的CPU已无法满足实时性要求。目前主流的硬件加速平台是GPU、ASIC和FPGA，其中GPU由大量并行计算单元构成，利用数据级并行加速应用的执行,具有CUDA和OpenGL等成熟的工具，算法开发难度低,但其功耗通常较高。ASIC采用改进硬件架构来对算法进行加速，对特定的神经网络算法具有较高的计算效率。但其专用性也导致其灵活性差。FPGA由大量可重新配置的逻辑电路构成，具有开发成本低、功耗低、灵活性高等特点，成为近年来卷积神经网络加速器研究的热点之一。

FPGA神经网络加速器可分为2种主流的体系架构，分别是处理引擎架构和数据流架构。处理引擎架构通常采用脉动阵列的形式，适合多种神经网络层类型，具有通用性。加速器根据网络拓扑结构按顺序逐层计算，每一层的计算输入要从DDR读取，计算结果要存储于DDR，在不同层之间的数据传递时消耗大量资源。相比之下，数据流架构将神经网络每一层映射为计算模块，将神经网络计算图转换为FPGA加速的流水线。前一层计算结果生成后直接输出到下一层，无需使用DDR进行缓存，因此简化了层与层之间的数据传递，缩短了数据传输时间。目前已有多种数据流架构加速器包括Xilinx公司的BNN-PYNQ、北京工业大学的Ultra_net和加州大学圣地亚哥分校的ReBNet。

由于目前已有的FPGA加速器开发工具远不如GPU开发工具成熟，在FPGA平台实现数据流架构加速器开发，即将某个卷积神经网络模型映射到FPGA加速器，仍然是非常繁重的工作。前馈数据流架构加速器的开发工具实现了网络模型到FPGA IP核的转换，在一定程度上降低了开发难度，但每一层的并行度、乘法器和数据缓存的资源类型、层间FIFO大小等参数仍需手动配置。不同模型在不同资源总量FPGA上的参数配置往往差异较大，为得到模型在特定型号FPGA上接近最佳的运行速度，需要特别复杂的调整。因此，亟需一种面向数据流神经网络加速器设计的架构自动优化方法解决上述问题。

发明内容

本发明提出一种面向数据流神经网络加速器设计的架构自动优化方法，以解决现有技术中每一层的并行度、乘法器和数据缓存的资源类型、层间FIFO大小等参数仍需手动配置、不同模型在不同资源总量FPGA上的参数配置往往差异较大，为得到模型在特定型号FPGA上接近最佳的运行速度，需要特别复杂的调整的问题。

为达上述目的，本发明提出技术方案如下：

一种面向数据流神经网络加速器设计的架构自动优化方法，包括：

步骤一：计算神经网络各层的并行度和期望运行时间根据各层的并行度计算各层并行度参数集合；各层选取使各层的运行时间小于期望运行时间且并行度最小的一组并行度参数集合；

步骤二：采用高层次综合模板，根据步骤一获得的使各层的运行时间小于期望运行时间且并行度最小的一组并行度参数集合，生成神经网络每一层的IP核；

步骤三：根据神经网络拓扑结构连接神经网络各层的IP核，在各IP核之间插入自定义FIFO模块，构建加速器模块；增设仿真控制模块，与加速器模块结合，组成FIFO大小仿真计算模型；