[发明专利]一种基于权重循环数据流的神经网络加速阵列

说明书

本发明具体涉及一种基于权重循环数据流的神经网络加速阵列，充分复用了从内存中读取的权重值和输入特征图数据，大大减少了对外部存储器的访问，属于神经网络的硬件加速技术领域。在人工智能芯片领域中，卷积运算占据整个卷积神经网络模型的计算量的百分之九十以上，本发明为了减少空域计算结构中，对输入数据的重复调用和移动，最大化数据复用，提出了权重循环数据流。通过设计一种基于权重循环数据流的PE阵列，对卷积操作进行优化，有效地降低硬件加速结构的功耗和延迟，从而提升系统的总体性能。

技术领域

本发明涉及神经网络的硬件加速技术领域，具体涉及一种基于权重循环数据流的神经网络加速阵列设计方法。

背景技术

随着物联网技术的飞速发展，可穿戴智能产品将人体各个部位作为互联网的接口，真正实现具有微型化、便携化、智能化可穿戴产品特点的人机一体化产品体验，为消费者提供便携式实时信息采集和数据服务，具有更大的技术含量和市场吸引力。

不幸的是，设计高性能的可穿戴计算设备并非易事，其实现面临许多挑战。该领域是计算机科学和工程等不同研究领域的交叉点，使用了微电子和无线通信等各种技术。微电子技术的进步导致了适用于可穿戴计算设备的小尺寸低功耗人工智能芯片。

在人工智能芯片领域中，隶属于机器学习范畴的深度学习，被广泛运用于图像分类、语音识别、对象检测等方面，并取得了显著的成果。卷积神经网络、递归神经网络和深度置信网络是深度学习研究的主要聚焦点，其中最先进的当属卷积神经网络。

典型的卷积神经网络结构包括有：卷积层，激活层，池化层，全连接层和输入输出特征图等。其中卷积层的作用是特征提取，池化层的作用是像素压缩，全连接层的作用是分类。卷积层为计算密集型运算，而全连接层为数据密集型运算。

卷积神经网络在数据处理方面有三个瓶颈问题：一是数据密集型，需要处理的数据量极大。二是计算密集型，对数据处理存储需要耗费大量计算资源和大量时间。三是速度失配问题，即数据处理速度慢于数据的产生速度。因此适合人工智能架构的专属芯片亟需发展，而高速数据传输、高速计算的神经网络加速器的实现将在多个方面有着重要的意义。

目前，由于硬件性能的提高，在加速神经网络训练和推断过程中，主要采用CPU、GPU、FPGA和ASIC的形式。大约二十年前，CPU曾是实现神经网络算法的主流，其优化领域主要集中在软件部分。CNN不断增加的计算成本使得需要硬件加速其推理过程。在GPU方面，GPU集群可以并行地加速具有10亿多个参数的超大网络。主流的GPU聚类神经网络通常使用分布式SGD算法。许多研究进一步利用了这种并行性，努力实现不同集群之间的通信。由于FPGA具有许多吸引人的特性，因此成为CNN硬件加速的良好平台。一般来说，FPGA比CPU和GPU提供更高的能源效率，比CPU具有更高的性能。与GPU相比，FPGA的吞吐量是几十千兆次，内存访问有限。此外，它本身不支持浮点计算，但有更低能耗。专用集成电路ASIC是为特定应用而设计的专用处理器，虽然ASIC的灵活性较低，开发周期长，成本高，但是具有体积小、功耗低、计算速度快和可靠性高等优点。

神经网络硬件加速器有两种较为典型的体系架构：时域计算架构(树状结构)和空域计算架构(PE阵列结构)。树状结构基于指令流对算数计算单元和存储资源进行集中控制，每个算数逻辑单元都从集中式存储系统获取运算数据，并向其写回结果。它由一个乘法加法树，一个用于分配输入值的缓冲区和一个预取缓冲区组成。PE阵列结构，每个算数运算单元都具有本地存储器，整个架构采用数据流控制，即所有的PE单元形成处理链关系，数据直接在PE之间传递。它由全局缓冲区、FIFO和PE阵列组成。每个PE由一个或多个的乘法器和加法器组成，可实现高度并行计算。