[发明专利]一种深度可分离卷积加速系统及方法

权利要求书

1.一种深度可分离卷积加速系统，其特征在于，在FPGA板上设置包括特征图输入输出缓存模块、权重缓存模块、卷积运算控制模块、卷积运算模块、池化模块和高速数据总线模块；

所述特征图输入输出缓存模块用于乒乓缓存外部输入和卷积运算后的特征图数据；

所述权重缓存模块用于缓存卷积运算过程中所用的权重数据；

所述卷积运算控制模块用于缓存外部输入的卷积计算指令并解析；

所述卷积运算模块用于深度可分离卷积和常规卷积；

所述池化模块用于每一层特征图的池化；

所述高速数据总线模块用于实现与外部CUP和片外缓存通信。

2.根据权利要求1所述的一种深度可分离卷积加速系统，其特征在于，所述卷积运算模块包括依次连接的Depthwise卷积子模块、Pointwise卷积子模块、加法树子模块和量化子模块；

所述Depthwise卷积子模块中使用ReLU和ReLU6激活函数。

3.根据权利要求2所述的一种深度可分离卷积加速系统，其特征在于，所述卷积运算控制模块解析指令生成卷积运算模块的控制信息，所述控制信息包括卷积输入输出读取、卷积通道数量、特征图行列长度和卷积运算方式。

4.根据权利要求3所述的一种深度可分离卷积加速系统，其特征在于，所述卷积运算模块和所述池化模块通过卷积运算控制模块选择性进行连接，用于不同模型的搭建。

5.一种深度可分离卷积加速方法，其特征在于，所述高速数据总线模块与外部CPU进行交互通信，获取模型计算所需的权重参数，并将权重参数逐层缓存到所述权重缓存模块；

通过交互通信读入初始特征图，缓存到特征图输入输出缓存模块；

通过交互通信获取当前层的计算指令，解析出卷积计算参数到所述卷积运算控制模块中；

当本次卷积计算为常规卷积时，卷积运算控制模块仅调用Depthwise子卷积模块，卷积结果进入加法树子模块中进行加法树运算，实现常规卷积；

卷积运算控制模块获取下一层的计算指令，选择池化运算或卷积运算，完成所用卷积层和池化层的运算，将最终运算结果通过高速数据总线模块，发送给外部CPU，完成对输入特征图的加速计算。

6.根据权利要求5所述的一种深度可分离卷积加速方法，其特征在于，根据模型大小和权重缓存模块RAM大小的不同，可选择将权重数据一次性全部读入权重缓存模块，或是分块读入权重缓存模块，并在上一块权重参数使用完以后，继续读入下一块权重参数。

7.根据权利要求6所述的一种深度可分离卷积加速方法，其特征在于，当本次卷积运算为深度可分离运算时，卷积运算控制模块调用Depthwise卷积子模块和Pointwise卷积子模块，根据模型需求，选择N×N的kernal运算，每个Depthwise卷积子模块，每个时钟周期计算一个输入通道的一个数据；

每个Pointwise卷积子模块选择输入通道个数的kernal运算，计算出一个输出通道的特征图数据，并选择输出通道数量的Pointwise卷积子模块，输出所需的通道数量特征图。

8.根据权利要求7所述的一种深度可分离卷积加速方法，其特征在于，当FPGA内存充足时，将中间计算结果全部缓存到FPGA中，对将上一层的卷积层输出特征图缓存，作为下一层卷积计算的输入特征图缓存；

当FPGA内部缓存模块不足时，可外接DDR模块，将输出特征图缓存到外部DDR中。