[发明专利]基于存算结合的多通道卷积FPGA架构及其工作方法

说明书

本发明提供一种基于存算结合的多通道卷积FPGA架构及其工作方法，包括：外部存储器、特征图片上缓存模块、卷积权重片上缓存模块和卷积计算模块；外部存储器包括有第一外部存储器和第二外部存储器，第一外部存储器向特征图片上缓存模块输出特征图数据，第二外部存储器向卷积权重片上缓存模块输出卷积权重；特征图片上缓存模块和卷积权重片上缓存模块均与卷积计算模块连接，分别向卷积计算模块输出多个特征图数据窗口和多个卷积权重窗口；卷积计算模块根据特征图数据窗口和卷积权重窗口进行计算，并输出计算结果。本发明通过多通道并行输出数据流的方式，实现存算结合，提高了FPGA架构的数据传输效率。

技术领域

本发明涉及FPGA架构技术领域，尤其涉及一种基于存算结合的多通道卷积FPGA架构及其工作方法。

背景技术

卷积神经网络在图像检测和识别领域有效的应用，但是移动端的系统在部署卷积神经网络(CNN)完成实时目标识别，使用移动端的中央处理器去完成卷积计算的计算挑战是非常大的。因此采用专用集成电路(ASIC)，现场可编程逻辑门阵列(FPGA)加速器和图像处理单元(GPU)作为协处理器来提高识别的速度，减少识别延时，减少中央处理器的计算负担具有重要的意义。在移动端侧的目标识别系统还需要具有低功耗，相比起GPU，基于FPGA的卷积神经加速器具有低功耗的优势。

谷歌在2019年提出EfficientNet卷积神经网络，通过放大EfficientNetb0基础模型，获得了一系列EfficientNet模型。但EfficientNet具有残差分支和注意力机制模块使得其网络结构复杂，不利于在移动端或嵌入式侧部署EfficientNet网络。而FPGA的硬性可编程性质就能适应到卷积神经网络结构的变化，在FPGA上部署EfficientNet卷积神经网络加速器具有较高的价值。

目前，基于FPGA的卷积神经网络加速器的单一中央计算阵列适合参数量大的，网络层数少的传统标准卷积。对于新型的深度可分离的卷积结构，尤其是深度卷积的计算，由于其计算较传统标准卷积更为稀疏，导致一个传统标准的中央卷积计算阵列计算效率不高。

发明内容

基于此，有必要针对上述技术问题，提供一种基于存算结合的多通道卷积FPGA架构及其工作方法。

一种基于存算结合的多通道卷积FPGA架构，包括：外部存储器、特征图片上缓存模块、卷积权重片上缓存模块和卷积计算模块；所述外部存储器设置有两个，分别为第一外部存储器和第二外部存储器，所述第一外部存储器与所述特征图片上缓存模块连接，向所述特征图片上缓存模块输出特征图数据，所述第二外部存储器与所述卷积权重片上缓存模块连接，向所述卷积权重片上缓存模块输出卷积权重；所述特征图片上缓存模块与所述卷积计算模块连接，并向所述卷积计算模块并行输出多个特征图数据窗口；所述卷积权重片上缓存模块与所述卷积计算模块连接，并向所述卷积计算模块并行输出多个卷积权重窗口；所述卷积计算模块根据所述特征图数据窗口和卷积权重窗口进行计算，并输出计算结果。

在其中一个实施例中，所述第一外部存储器对所述特征图数据采用交叉缓存的方式进行存储。

在其中一个实施例中，所述特征图片上缓存模块包括有Conv_num个FIFO存储单元和LBUF行缓存单元，所述FIFO存储单元与所述第一外部存储器连接，接收所述第一外部存储器发送的特征图数据，并将所述特征图数据传输至所述LBUF行缓存单元；所述LBUF行缓存单元与所述卷积计算模块连接，用于将所述特征图数据传输至所述卷积计算模块。

在其中一个实施例中，所述卷积权重片上缓存模块采用FPGA内部查找表和触发器逻辑实现，用于缓存卷积权重。

在其中一个实施例中，所述卷积计算模块包括有Unit_num个卷积计算子模块，用于进行卷积计算。