[发明专利]一种卷积神经网络推理加速器及方法

说明书

本发明公开了一种卷积神经网络推理加速器及方法，所述加速器包括：输入图像缓存器模块，包括N个缓存器，用于载入输入图像数据，每个缓存器存储图像对应一行的数据；N*N个运算单元，连接所述输入图像缓存器模块，用于进行卷积运算，所述N*N个运算单元支持图像数据在相邻运算单元间传递的脉动形式，其连接缓存器的运算单元从缓存器中读取图像数据，剩余的运算单元从邻近的运算单元读取图像数据，本发明针对卷积神经网络带来的数据可复用性设计双向脉动阵列，提高了数据的加载效率，从而加速了卷积神经网络。

技术领域

本发明涉及针对卷积神经网络的专用加速架构，特别是涉及一种用于卷积神经网络的推理阶段，加速其推理运算速度的基于双向脉动与多级流水线的卷积神经网络推理加速器及方法。

背景技术

卷积神经网络是一种前馈神经网络，常应用于图像识别，一般包括卷积层、池化层和全连接层。卷积层的卷积操作是，卷积核中的每一个权值与其对应的输入数据点对点相乘，然后将点乘结果累加，得到输出的一个数据，之后，根据卷积层的步长设定，滑动卷积核，重复上述操作。

目前，针对神经网络的加速架构很多，包括通用处理器做神经网络加速，专用ASIC加速架构，以及利用新型材料对神经网络进行加速。

Nvidia公司提出了一种基于GPU通用架构的加速器，它既支持GPU的传统运算，又加速了神经网络的计算，这一架构的优势在于可以保留原有的通用计算框架，支持cuda语言编程，对习惯于cuda编程的程序员来说，该架构易于上手，但是缺点在于为了支持通用计算，无法灵活地根据神经网络运算的特点改变原本的GPU架构，另外，这种设计为了灵活性，能耗是无可避免的，因此该架构对神经网络的加速不是最优化的。

专用ASIC加速架构多种多样，Xie Y等人提出“an instruction setarchitecture for neural networks”(International Symposium on ComputerArchitecture.IEEE Press,2016:393-405)，考虑到机器学习的算法是具有专用性的，一种算法对某个数据集效果特别好，换了一个数据集后准确率可能直线下降，而投入市场的芯片，面向的应用多种多样，不可能用一种机器学习的算法就能完全解决，因此，为了能支持多种机器学习的算法，该设计分析了各种神经网络、机器学习算法的运算特点，比如，矩阵乘向量的运算、向量乘标量的运算都会出现在各类神经网络中，将运算细化到矩阵、向量这一层级，设计了一套通用于各类算法的指令集。但是该设计的指令粒度太细，导致流水线过长，在执行过程中，更可能出现阻塞，因此，该设计的架构的运算性能并不是很好。Chen Y,Luo等于“A Machine-Learning Supercomputer”(Ieee/acm International Symposium onMicroarchitecture.IEEE,2014:609-622.)中提出了一种针对神经网络的芯片，该芯片将神经网络的全部权值存储在片上，通过调度使得所需的权值可以快速被找到，解决处理器常见的数据加载的瓶颈问题。但是随着神经网络的发展，网络规模越来越大，权值信息越来越多，如果要存储所有的权值信息，那么耗费的硬件资源将不可想象，因此该架构对于存储方面，过于大方，不符合实际应用的需求。Du Z等人于“shifting vision processingcloser to the sensor”(International Symposium on Computer Architecture.ACM,2015:92-104.)中提出利用卷积神经网络的权值共享的特性，将权值整体载入静态随机存储器中，减少了访问动态随机存储器带来的内存开销，但是由于大型网络的权值太多，而静态随机存储器的容量很小，因此该设计只能应用于非常小的网络中，应用面不广。