[发明专利]面向数据流神经网络加速器设计的架构自动优化方法

权利要求书

1.一种面向数据流神经网络加速器设计的架构自动优化方法，其特征在于，包括：

步骤一：计算神经网络各层的并行度和期望运行时间根据各层的并行度计算各层并行度参数集合；各层选取使各层的运行时间小于期望运行时间且并行度最小的一组并行度参数集合；

步骤二：采用高层次综合模板，根据步骤一获得的使各层的运行时间小于期望运行时间且并行度最小的一组并行度参数集合，生成神经网络每一层的IP核；

步骤三：根据神经网络拓扑结构连接神经网络各层的IP核，在各IP核之间插入自定义FIFO模块，构建加速器模块；增设仿真控制模块，与加速器模块结合，组成FIFO大小仿真计算模型；

使用FIFO大小仿真计算模型计算每一个自定义FIFO模块的大小设定值；

将加速器模块的自定义FIFO模块改为通用FIFO，并依次修改每一个通用FIFO的深度分别对应FIFO大小仿真计算模型的计算获得的对应自定义FIFO模块的大小设定值；

步骤四：使用VIVADO工具综合实现加速器模块，获取资源使用综合报告；

若综合实现失败，则重复步骤一到三，直到综合实现成功或者重试次数超过阈值为止；

若重复次数超过阈值，则表明无法完成当前吞吐率在FPGA下的资源分配，结束进程；

若综合实现成功，且符合程序终止条件，则进入步骤五；

若综合实现成功，且不符合程序终止条件，则根据资源分配情况调整期望吞吐率，进入步骤一；

步骤五：输出结果。

2.如权利要求1所述的一种面向数据流神经网络加速器设计的架构自动优化方法，其特征在于，步骤一神经网络各层并行度计算方法为：

给定量化训练好的网络模型，给定FPGA可用的资源数量，给定期望吞吐率迭代初值

根据神经网络层类型和参数，计算N层神经网络每个层i推理所需的乘法操作数，其中1≤i≤N；

对于卷积核尺寸K_i，输出特征图宽度OFMW_i高度OFMH_i，特征图输入通道数IFM_CH_i，特征图输出通道数OFM_CH_i的卷积层，推理所需的乘法操作数计算公式为：

对于宽度为W_i，高度为H_i的全连接层，推理所需的乘法操作数计算公式为：

计算神经网络第i层的并行度若第i层为卷积层，则并行度为：

若第i层为全连接层，则并行度为：

其中p_i为输出通道并行度,s_i为输入通道并行度，q_i为输入特征图像素并行度；

卷积层运行时间

全连接层运行时间

其中T(clk)为FPGA的时钟周期。

3.如权利要求2所述的一种面向数据流神经网络加速器设计的架构自动优化方法，其特征在于，步骤一中期望运行时间计算方法为：

期望运行时间其中为第m次迭代的期望吞吐率。

4.如权利要求1所述的一种面向数据流神经网络加速器设计的架构自动优化方法，其特征在于，步骤二中，IP核包括乘法器和数据缓存区；

其中位数大于等于8bit的乘法器由DSP构建，位数小于8bit的乘法器由LUT构建；

数据缓存区分为权重缓存区和计算中间变量缓存区；

权重缓存区由BRAM构建，计算中间变量缓存区由LUTRAM构建。

5.如权利要求1所述的一种面向数据流神经网络加速器设计的架构自动优化方法，其特征在于，步骤三中，仿真控制模块由时钟单元、数据生成单元、数据测量单元和数据接收单元构成；其中：

时钟单元，用于为数据生成单元、数据测量单元和数据接收单元提供时钟驱动；

数据生成单元，用于将输入图像输入到加速器模块中；

数据测量单元，用于持续观测自定义FIFO模块在运行期间数据缓存量并记录最大值；

数据接收单元，用于接收仿真结果。