[发明专利]一种用于通用张量计算的硬件加速装置及方法

说明书

本发明实现了一种用于通用张量计算的硬件加速装置及方法。其装置包括：数据载入DMA装置，对一定范围和形式的输入数据进行提取、排布；数据输出DMA装置，对并行执行阵列的输出数据进行提取、排布、控制存回；处理特定矩阵计算的并行计算执行单元阵列；其他向量或/和标量并行执行单元，可加速各种通用计算步骤；中央控制装置，通过可编程、可扩展的指令，控制、调度上述各个硬件；上述5个子装置中均设置有定制的存储缓冲区域，对张量数据处理的膨胀特点，利用空间和时间相关性原理，实现吸收效果。本发明在对特定领域的通用算子的硬件化的基础上优化了并行计算单元的计算机制，形成一套以数据调度为中心的计算机制。

技术领域

本发明属于计算机硬件、人工神经网络算法部署硬件加速的领域，具体涉及一种芯片上用于通用张量计算的加速器的硬件并行运算装置及方法。

背景技术

深度卷积神经网络是人工神经网络的一种，属于机器学习算法模型，由多层具体的神经元算法层、隐藏层组成。它可以根据一组数据张量输入，例如图像构成的张量，产生一组数据向量输出，例如分类结果的标志或标签与坐标等信息。它的每一层都对输入数据进行特征抽取、激活、采样等运算，输出给下一层的输入。每一层的构成包括算子、算法结构和计算参数，比如卷积核或计算权重参数，它们是在一套神经网络算法创建后，在针对一组数据做训练的过程中选择、提取得到的。在面对同类数据、专门领域的应用场景中，将上述算子、算法结构和计算参数部署在特定的加速芯片中，就能发挥训练所指向的功能结果，例如输出物体分类结果或所要识别物体的相关信息。

近年来，深度卷积神经网络在多个应用领域越来越得到深入研究并被广泛接受。它大部分都由卷积计算层构成，还包括一些其他算法层。在终端部署人工智能算法已经成为广泛需求，但芯片的性能、成本等因素已成为了需求的瓶颈要素。专利文件1（公开号CN105488565A）公开了一种加速深度神经网络算法的加速芯片的运算装置及方法，通过全面将算子硬件化、指令化，形成一套AI指令集及其加速处理器。但由于该装置及方法考虑过多计算任务的融合与编程的灵活性，数据处理的颗粒度较小，还需要与其他高性能的数据排布装置配合方能发挥功效，带来其装置芯片化、产品化的总体成本高。

当前在机器学习算法领域的研究表明，理论算法要与特定领域、产业场景结合，且此前单一的算法之间要进行再联接和在线配合部署，经过多种算法处理的结果才能在实际中应用。因此，既要考虑大量计算数据的存储成本，同时还要在多种人工神经算法之间能够快速切换配置，针对领域、产业场景可配置可裁剪的设计装置，才符合终端人工智能神经网络部署的设计理念。

发明内容

本发明的目的在于，提供一种用于通用张量计算的硬件并行加速器的硬件装置及方法，能够以低成本、低功耗的芯片工艺节点和较低的主存储成本提供合理的算力，令多个深度卷积神经网络同时能够部署并切换工作，在特定实时要求时间内完成共同的判断、分类或检测功能。

本发明的深度卷积神经网络硬件并行加速器的硬件装置，包括：

并行计算执行单元阵列，例如以执行矩阵或/和向量数据的乘法、加减法的并行运算为主，由一个个乘、加减以及其他基础算子构成的单个神经元硬件模块组成；

数据载入装置，对上述深度卷积神经网络算法所需要的大量数据进行提取、排布及输入，以及相关的控制；

数据输出装置，对计算执行单元阵列的输出结果进行提取、排布及存回，以及相关的控制；

向量或/和标量其他特殊计算执行单元及其存取数据装置，对深度卷积神经网络算法中的其他关键算子进行加速执行；

中央控制装置，通过可编程指令完成对上述4个子装置的总体控制、调度；

所述5个子装置中均设置有中间存储及缓冲区域，对主存储器进行读取与写入，对指令以及中间数据进行缓存，同时也能彼此随机访问。

本发明的用于通用张量计算的硬件并行加速器的硬件装置，具有可配置特征，包括以下特点：