[发明专利]一种深度可分离卷积加速系统及方法

说明书

本发明涉及深度学习卷积计算硬件加速领域，具体提供了一种深度可分离卷积加速系统，在FPGA板上设置包括特征图输入输出缓存模块、权重缓存模块、卷积运算控制模块、卷积运算模块、池化模块和高速数据总线模块；特征图输入输出缓存模块用于乒乓缓存外部输入和卷积运算后的特征图数据；权重缓存模块用于缓存卷积运算过程中所用的权重数据；卷积运算控制模块用于缓存外部输入的卷积计算指令并解析；卷积运算模块用于深度可分离卷积和常规卷积；池化模块用于每一层特征图的池化；高速数据总线模块用于实现与外部CUP和片外缓存通信。与现有技术相比，本发明满足未来不断增大的模型尺寸和加速复杂度的应用需求。

技术领域

本发明涉及深度学习卷积计算硬件加速领域，具体提供一种深度可分离卷积加速系统及方法。

背景技术

作为目前深度学习算法的代表之一，卷积神经网络在很多很多研究领域取得了巨大的成功，例如语音识别、图像识别、图像分割和自然语音处理等。

主流的卷积神经网络模型尺寸和相应的计算复杂度太大，难以直接移植到嵌入式芯片中进行实时推理计算。

发明内容

本发明是针对上述现有技术的不足，提供一种实用性强的深度可分离卷积加速系统及方法。

本发明解决其技术问题所采用的技术方案是：

一种深度可分离卷积加速系统，在FPGA板上设置包括特征图输入输出缓存模块、权重缓存模块、卷积运算控制模块、卷积运算模块、池化模块和高速数据总线模块；

所述特征图输入输出缓存模块用于乒乓缓存外部输入和卷积运算后的特征图数据；

所述权重缓存模块用于缓存卷积运算过程中所用的权重数据；

所述卷积运算控制模块用于缓存外部输入的卷积计算指令并解析；

所述卷积运算模块用于深度可分离卷积和常规卷积；

所述池化模块用于每一层特征图的池化；

所述高速数据总线模块用于实现与外部CUP和片外缓存通信。

进一步的,所述卷积运算模块包括依次连接的Depthwise卷积子模块、Pointwise卷积子模块、加法树子模块和量化子模块；

所述Depthwise卷积子模块中使用ReLU和ReLU6激活函数。

进一步的,所述卷积运算控制模块解析指令生成卷积运算模块的控制信息，所述控制信息包括卷积输入输出读取、卷积通道数量、特征图行列长度和卷积运算方式。

进一步的,所述卷积运算模块和所述池化模块通过卷积运算控制模块选择性进行连接，用于不同模型的搭建。

一种深度可分离卷积加速方法，所述高速数据总线模块与外部CPU进行交互通信，获取模型计算所需的权重参数，并将权重参数逐层缓存到所述权重缓存模块；

通过交互通信读入初始特征图，缓存到特征图输入输出缓存模块；

通过交互通信获取当前层的计算指令，解析出卷积计算参数到所述卷积运算控制模块中；

当本次卷积计算为常规卷积时，卷积运算控制模块仅调用Depthwise子卷积模块，卷积结果进入加法树子模块中进行加法树运算，实现常规卷积；

卷积运算控制模块获取下一层的计算指令，选择池化运算或卷积运算，完成所用卷积层和池化层的运算，将最终运算结果通过高速数据总线模块，发送给外部CPU，完成对输入特征图的加速计算。

进一步的,根据模型大小和权重缓存模块RAM大小的不同，可选择将权重数据一次性全部读入权重缓存模块，或是分块读入权重缓存模块，并在上一块权重参数使用完以后，继续读入下一块权重参数。