[发明专利]一种基于FPGA的MobileNet硬件加速系统

权利要求书

1.一种基于FPGA的MobileNet硬件加速系统，其特征在于，包括PL端、CPU端、通信模块、存储模块，PL端负责MobileNet网络的加速实现，CPU端负责统筹协调任务并发送指令；

所述PL端包括核心控制模块及与该核心控制模块连接的各运算模块；

所述通信模块用于实现PL端与CPU端、存储模块的数据传输；

所述存储模块用于协调存储PL端数据。

2.根据权利要求1所述的一种基于FPGA的MobileNet硬件加速系统，其特征在于，PL端通过配置直接存储器访问与存储模块通信实现输入输出数据的传输，指令存储于PL端的BRAM。

3.根据权利要求1所述的一种基于FPGA的MobileNet硬件加速系统，其特征在于，所述核心控制模块为Command Analyzer，负责解析Command Queue发来的指令，并输出相应的控制信号控制各运算模块运行，Command Queue通过通信模块与CPU端进行交互，核心控制模块采用状态机实现。

4.根据权利要求1所述的一种基于FPGA的MobileNet硬件加速系统，其特征在于，所述各运算模块分别为深度卷积模块、逐点卷积模块、SoftMax模块以及平均池化模块，各运算模块受核心控制模块控制，从输入缓冲区读取输入特征图，利用DSP资源进行相应计算，中间数据缓存于输出缓冲区，计算完成后进行量化、激活，最终存入输入缓冲区。

5.根据权利要求1所述的一种基于FPGA的MobileNet硬件加速系统，其特征在于，所述存储模块为片外DDR存储器。

6.根据权利要求1所述的一种基于FPGA的MobileNet硬件加速系统，其特征在于，所述通信模块采用AXI4以及AXI4-Lite总线。

7.根据权利要求4所述的一种基于FPGA的MobileNet硬件加速系统，其特征在于，所述深度卷积模块兼容标准卷积，深度卷积模块的实现方式为：MobileNet网络中共包含一层标准卷积层以及十三层深度卷积层，共十四层网络层，考虑到FPGA资源及MobileNet网络结构特征，按照32 x 18的并行展开度对输入特征图通道数及尺寸两个维度进行展开，通过重复设计包括乘法器、加法器的树资源实现深度卷积并行展开计算；此外，运用流水线技术对深度卷积计算过程进行优化，将深度卷积操作过程进行细分，以周期为单位细分包括读取数据、乘法、累加、缓存中间数据、读取缓存数据的一系列操作，使得每个环节在每个周期都有连续的输入与输出。

8.根据权利要求4所述的一种基于FPGA的MobileNet硬件加速系统，其特征在于，所述逐点卷积模块兼容全连接层，逐点卷积模块的实现方式为：考虑到FPGA资源及逐点卷积层结构特征，按照32 x 32 的并行展开度对输入特征图通道数及过滤器组数两个维度进行展开，通过重复设计包括乘法器、加法器的树资源实现逐点卷积并行展开计算；此外，利用流水线技术对逐点卷积计算过程进行优化，将逐点卷积操作过程进行细分，以周期为单位细分包括读取数据、乘法、累加、缓存中间数据、读取缓存数据的一系列操作，使得每个环节在每个周期都有连续的输入与输出，而不互相依赖，实现流水线设计；当逐点卷积的行列数均退化为1以后其与全连接层操作一致，因此，全连接层即为输入特征图尺寸为1 x 1的逐点卷积层。

9.根据权利要求4所述的一种基于FPGA的MobileNet硬件加速系统，其特征在于，所述平均池化模块的实现方式为：考虑到卷积模块架构及存储模块的设计，并结合平均池化层运算特点，按照32 x 7 的并行展开度对输入特征图通道数及输入特征图行数两个维度进行展开，通过重复设计包括加法器树、除法器的树资源实现平均池化并行展开计算；此外，运用流水线技术对平均池化计算过程进行优化，将平均池化过程进行细分，以周期为单位细分包括读取数据、累加、除法以及保存输出数据的一系列操作，使得每个环节在每个周期都有连续的输入与输出。

10.根据权利要求4所述的一种基于FPGA的MobileNet硬件加速系统，其特征在于，所述SoftMax模块的实现方式为：考虑到SoftMax层的主要作用在于概率映射，是否计算SoftMax函数并不影响分类结果，因此SoftMax层利用比较器进行大小上的比较。