[发明专利]一种基于FPGA的深度卷积神经网络的流水化加速系统

说明书

本发明提出了一种基于FPGA的深度卷积神经网络的流水化加速系统，该流水化加速系统主要由输入数据分配控制模块、输出数据分配控制模块、卷积计算顺序序列化实现模块、池化计算顺序序列化实现模块、卷积计算模块、池化计算模块和卷积计算结果分配控制模块组成，此外所述流水化加速系统还包含一个内部系统级联接口。按照本发明设计的流水化加速系统，能够在FPGA上高效并行流水化实现，并且有效地解决了计算过程中由于各类填充操作而导致的资源浪费和有效计算延误问题，能有效地降低系统功耗和大大提高运算处理速度。

技术领域

本发明属于神经网络计算领域，具体涉及一种基于FPGA的深度卷积神经网络的流水化加速系统。

背景技术

伴随着深度学习掀起的新的机器学习热潮，深度卷积神经网络已经广泛应用于语音识别、图像识别和自然语音处理等不同的大规模机器学习问题中，并取得了一系列突破性的研究成果，其强大的特征学习与分类能力引起了广泛的关注，具有重要的分析与研究价值。

深度卷积神经网络模型具有模型深度高、层次复杂、数据量级大、并行度高、计算密集和存储密集等特征，大批量的卷积运算和池化操作往往使其在应用过程当中成为一大计算瓶颈，大量中间结果的存储也对计算机存储结构提出了较高的要求，这对于实时性较强而投入成本有限的应用场景来说是十分不利的。

当下比较常用的两种加速器是CPU和GPU，CPU基于其串行执行的结构特点在计算性能上并不能较理想地满足要求，GPU虽然在计算性能上优势明显但却与CPU一样无法突破功耗壁垒，并且CPU和GPU在可扩展性上都存在较为严重的限制。考虑到诸如上述因素，FPGA基于其配置灵活、高度并行、设计灵活、低功耗和性价比高等特点成为深度卷积神经网络模型十分理想的替代加速器，但如何结合FPGA芯片特点和平台优势充分挖掘出深度卷积神经网络计算模型的并行性以及流水性，合理高效地充分利用FPGA片上的有限资源仍是有待解决的问题。

发明内容

本发明提供了一种基于FPGA的深度卷积神经网络的流水化加速系统，其目的在于同时结合深度卷积神经网络模型结构特点和FPGA芯片特点及平台优势，对传统软件层中已有实现的深度卷积神经网络计算结构进行重新调整并且设计相应的模块，充分挖掘深度卷积神经网络在计算过程当中潜在的并行性以及各计算层之间的流水性，使之更匹配于FPGA的设计特点，并且配合FPGA的相应的设计，以合理高效地利用FPGA设计的计算资源，为深度卷积神经网络的实现提供一套高性能的流水化加速方案。

本发明提供了基于FPGA的深度卷积神经网络的流水化加速系统，其特征在于，该系统包括：

输入数据分配控制模块、输出数据分配控制模块、卷积计算顺序序列化实现模块、池化计算顺序序列化实现模块、卷积计算模块、池化计算模块和卷积计算结果分配控制模块，此外所述流水化加速系统还包含一个内部系统级联接口；

所述输入数据分配控制模块同时与FPGA外围接口和所述内部系统级联接口、卷积计算顺序序列化实现模块相连；所述输出数据分配控制模块同时与FPGA外围接口和所述内部系统级联接口、卷积计算结果分配控制模块以及池化计算模块相连；所述卷积计算结果分配控制模块同时与所述卷积计算模块、输出数据分配控制模块以及池化计算顺序序列化实现模块相连；所述卷积计算顺序序列化实现模块与卷积计算模块之间直接相连；所述池化计算顺序序列化实现模块与池化计算模块之间直接相连；

所述输入数据分配控制模块实时监视所述卷积计算顺序序列化实现模块的数据消耗状况，向DDR片外存储器发送相关读数据命令并及时接收FPGA外围接口和所述内部系统级联接口传送来的输入数据，除此之外，所述输入数据分配控制模块还需将接收到的数据传送给所述卷积计算顺序序列化实现模块；