[发明专利]一种基于FPGA轻量级卷积加速器的设计方法

说明书

本发明公开了一种基于FPGA卷积加速的方法。首先通用处理器用于解析神经网络配置信息以及权值数据，并将神经网络配置信息以及权值数据写入RAM中，针对外存访问带宽限制，基于设计空间探索确定循环分块因子以最大化数据重用，从而提高整个网络的运算性能。然后FPGA从RAM中读取配置信息，用于生成FPGA加速器，接着通用处理器读入图片信息，并把它写入DRAM中，然后FPGA加速器从DRAM中读取图片数据并开始计算，并把计算结果写入DRAM中。本发明加速器使得各层能够同时部署在FPGA芯片上，并以流水线的方式运行，提高了运算性能和数据吞吐率。

技术领域

本发明涉及卷积加速领域，具体涉及基于FPGA轻量级卷积加速器的设计方法。

背景技术

随着消费电子、汽车电子、工业控制等越来越多的应用引入人工智能(AI)，人工智能面临着前所未有的快速发展，深度学习、神经网络等技术迎来了发展高潮。神经网络越大，需要的计算量就越大，传统的VPU虽然也能完成人工智能运算，但因为高功耗和高延迟已经略显疲惫。在VPU上加载人工智能计算能力则可以规避这些问题，而且具有更高的可靠性。目标应用包括车载系统中的影像拍摄，以及基于行人、自行车等高精度物体识别的辅助驾驶以及自动泊车。另一个重要的应用便是显示系统，例如电视、数字标牌，NNA可在超分辨率处理时增强图像识别，提高4K/8K屏幕高清晰度成像。Socionext将不断创新并开发出高效、高性能产品，以适应各种边缘计算环境中广泛的AI应用。人工智能专用加速器强调的是适当时间提供给合适的智能。对现有的制造业的提升，包括缩短开发周期、降低成本、提升效率等。采用虚拟制造技术可以在产品设计阶段就模拟出该产品的整个生命周期，从而更有效，更经济、更灵活的组织生产，实现了产品开发周期最短，产品成本最低，产品质量最优，生产效率最高的保证。发展出全新的制造模式，加快这些产业的发展，加速普及市场应用，就能够形成一个个新的经济增长点。

由于通用处理器CPU需要在各种应用场景下提供良好的性能，因此CPU内部大部分是控制逻辑，计算单元只占很小一部分，通用处理器的这种特性难以保证神经网络推断对实时性的要求。在卷积神经网络的研究初期，研究人员使用中央处理器在计算机上对卷积神经网络进行训练和预测的工作。但随着卷积神经网络层数的不断加深，网络中的计算量和参数量都变得十分巨大，对于以串行处理结构的CPU来说，对于卷积神经网络的处理速度有很大的局限性。而图形处理器（GPU）内部包含几千个流处理器，可以并行执行大量计算任务。利用GPU这一特性，使其成为了研究人员加速卷积神经网络训练阶段的主要方式。但是GPU的缺点也十分明显，虽然有着较高的性能，但是功耗也十分巨大。尤其在PC端使用GPU对卷积神经网络进行训练时，功耗可高达数百瓦特。由于GPU自身存在体积大、功耗高的缺点，限制它在体积小，功耗低的移动端和嵌入式平台上的推广与应用。

这项发明卷积加速器研究,基于现有的神经网络,本发明公开了一种基于FPGA的深度神经网络平台,包括通用处理器和FPGA和RAM,第一个通用处理器用来解决神经网络的权重配置信息和数据,以及神经网络的权重配置信息和数据内存,访问带宽限制CRT,基于设计周期确定的空间探索块因子是为了最大限度地重用数据，然后FPGA从RAM读取配置信息，利用FPGA加速卡生成加速卡，然后通用处理器读取图像信息，然后FPGA加速卡从DRAM中读取图像数据并开始计算，并将计算结果写入DRAM中。最后，通用处理器从DRAM中读取分类结果。本发明的加速器可以使各层同时部署在FPGA芯片上，并以流水线的方式运行，使没有硬件知识的程序员可以利用现有的FPGA资源轻松获得良好的性能。

发明内容

本发明的目的在于提供轻量型卷积神经网络加速的方法。本发明具体实现如下所示：

（1）模型初始化，使用通用处理器解析神经网络配置信息以及权重数据并写到缓存RAM中模型初始化后进行归一化操作，所有权值在0～1的范围内服从正太分布。

（2）在（1）中针对外部存储访问限制的问题，基于空间探索确定循环分块的方式进行访问优化。使用原始权值矩阵的部分参数构造分块矩阵去代替原始矩阵。