[发明专利]基于存算结合的多通道卷积FPGA架构及其工作方法

权利要求书

1.一种基于存算结合的多通道卷积FPGA架构，其特征在于，包括：外部存储器、特征图片上缓存模块、卷积权重片上缓存模块和卷积计算模块；

所述外部存储器设置有两个，分别为第一外部存储器和第二外部存储器，所述第一外部存储器与所述特征图片上缓存模块连接，向所述特征图片上缓存模块输出特征图数据，所述第二外部存储器与所述卷积权重片上缓存模块连接，向所述卷积权重片上缓存模块输出卷积权重；

所述特征图片上缓存模块与所述卷积计算模块连接，并向所述卷积计算模块并行输出多个特征图数据窗口；

所述卷积权重片上缓存模块与所述卷积计算模块连接，并向所述卷积计算模块并行输出多个卷积权重窗口；

所述卷积计算模块根据所述特征图数据窗口和卷积权重窗口进行计算，并输出计算结果。

2.根据权利要求1所述的基于存算结合的多通道卷积FPGA架构，其特征在于，所述第一外部存储器对所述特征图数据采用交叉缓存的方式进行存储。

3.根据权利要求1所述的基于存算结合的多通道卷积FPGA架构，其特征在于，所述特征图片上缓存模块包括有Conv_num个FIFO存储单元和LBUF行缓存单元，所述FIFO存储单元与所述第一外部存储器连接，接收所述第一外部存储器发送的特征图数据，并将所述特征图数据传输至所述LBUF行缓存单元；所述LBUF行缓存单元与所述卷积计算模块连接，用于将所述特征图数据传输至所述卷积计算模块。

4.根据权利要求1所述的基于存算结合的多通道卷积FPGA架构，其特征在于，所述卷积权重片上缓存模块采用FPGA内部查找表和触发器逻辑实现，用于缓存卷积权重。

5.根据权利要求1所述的基于存算结合的多通道卷积FPGA架构，其特征在于，所述卷积计算模块包括有Unit_num个卷积计算子模块，用于进行卷积计算。

6.根据权利要求5所述的基于存算结合的多通道卷积FPGA架构，其特征在于，所述卷积计算子模块包括有Conv_num个卷积计算引擎单元、输出缓存单元和逐通道卷积计算单元；所述卷积计算引擎单元包括有9个DSP48E子单元，用于完成特征图窗口和卷积权重窗口的计算，并对多余卷积权重置零；所述输出缓存单元包括有Unit_num个BRAM，用于缓存输出数据；所述逐通道卷积计算单元用于完成逐通道卷积计算过程。

7.一种基于存算结合的多通道卷积FPGA架构的工作方法，其特征在于，包括以下步骤：

从外部存储器获取特征图数据和卷积权重，分别传输至特征图片上缓存模块和卷积权重片上缓存模块；

所述特征图片上缓存模块根据所述特征图数据获取特征图数据窗口，将所述特征图数据窗口发送至卷积计算模块；同时，所述卷积权重片上缓存模块根据所述卷积权重获取卷积权重窗口，将所述卷积权重窗口发送至卷积计算模块；

所述卷积计算模块根据所述特征图数据窗口和卷积权重窗口进行计算，并输出计算结果。

8.根据权利要求7所述的基于存算结合的多通道卷积FPGA架构的工作方法，其特征在于，在所述从外部存储器获取特征图数据和卷积权重，分别传输至特征图片上缓存模块和卷积权重片上缓存模块之后，在所述特征图片上缓存模块根据所述特征图数据获取特征图数据窗口，将所述特征图数据窗口发送至卷积计算模块之前，还包括：

当卷积核尺寸为K*K时，从所述外部存储器读取AXI Stream形式的特征图数据流，将特征图依次输入到所有FIFO存储单元中进行缓存；

存满所有FIFO存储单元后，将特征图数据传输至LBUF行缓存单元中；

通过所述LBUF行缓存单元存储相邻(K-1)行的特征图数据，在接收到第K行特征图数据时，按照顺序输出K*K的数据窗口到卷积计算模块，等待卷积运算。

9.根据权利要求7所述的基于存算结合的多通道卷积FPGA架构的工作方法，其特征在于，在所述卷积权重片上缓存模块根据所述卷积权重获取卷积权重窗口，将所述卷积权重窗口发送至卷积计算模块之后，在所述卷积计算模块根据所述特征图数据窗口和卷积权重窗口进行计算，并输出计算结果之前，还包括：

卷积权重片上缓存模块按照顺序输入卷积权重；

在所有卷积权重均缓存到所述卷积权重片上缓存模块后，开始按顺序输出Unit_num个大组卷积权重，其中，每个大组包含Conv_num组卷积权重。