[发明专利]张量处理器

说明书

一种张量处理器。张量处理器包括乒乓控制器和与乒乓控制器相连的多个处理引擎。乒乓控制器接收输入张量，根据输入张量的维度信息和权重张量的维度信息计算出要调用的处理引擎的个数并且调用处理引擎组成处理引擎二维阵列。乒乓控制器配置处理引擎二维阵列中的处理引擎之间的连接关系和数据流向。乒乓控制器配置输入张量和权重张量到处理引擎二维阵列。处理引擎二维阵列对输入张量和权重张量进行卷积运算得到输出结果。输出结果被传输到所述乒乓控制器。该张量处理器实现了高速处理输入张量数据且能灵活地应对不同维度的输入张量数据。

技术领域

本公开涉及神经网络卷积运算张量处理器。

背景技术

神经网络通过模拟人类大脑的神经连接结构来建立模型结构，是目前学术研究和企业研发的热点。当前的神经网络，特别是用于图像处理和对象识别的卷积神经网络，需要处理大量表示为三阶或者更高阶张量的数据，也需要处理具有不同形状和大小的张量数据。因此需要能够高速处理不同形状的三阶或更高阶张量数据的神经网络专用计算装置。此外，二值化神经网络指的是对权重值和/或输入数据进行二值化处理后的神经网络。当前还没有针对二值化神经网络的高精度计算装置。

发明内容

基于此，有必要提供能够高速处理三阶或更高阶张量数据的神经网路专用计算装置，也有必要提供针对二值化神经网络的高精度计算装置。为此，本公开提供一种张量处理器，该张量处理器包括多个处理引擎(Processing Engine，以下简称PE)以及与多个PE相连的乒乓控制器。该张量处理器能根据实际需要(比如根据输入的张量数据的维度和卷积核的维度等信息)确定要调用的PE的个数以及由被调用的PE所组成的二维阵列的维度，调用多个PE的全部或一部分来组成PE二维阵列。进一步地，该张量处理器配置PE二维阵列的PE彼此之间的连接关系和数据流向，还可以根据PE二维阵列的维度来切割输入的张量数据，从而实现了高速处理输入张量数据且能灵活地应对不同维度的输入张量数据。针对二值神经网络的推导运算，该张量处理器用硬件方式取代卷积运算，还有对卷积运算结果进行门限操作，从而实现了兼具高速度和高精度优势的二值神经网络计算装置。

根据公开的一个方面，提供了一种张量处理器，其包括：乒乓控制器，其接收输入张量；与所述乒乓控制器相连的多个处理引擎；其中，所述乒乓控制器根据所述输入张量的维度计算出要调用的处理引擎的个数并且调用所述个数的处理引擎组成处理引擎二维阵列，配置所述处理引擎二维阵列中的处理引擎之间的连接关系和数据流向，以及配置所述输入张量和权重张量到所述处理引擎二维阵列；所述处理引擎二维阵列对所述输入张量和所述权重张量进行卷积运算得到输出结果，所述输出结果被传输到所述乒乓控制器。

附图说明

本公开的实施例具有其他优点和特征，当结合附图时，从以下详细描述和所附权利要求中将更容易明白这些优点和特征，其中：

图1示出了一种实施方式的张量处理器的架构，该张量处理器包括输入输出总线、乒乓控制器和PE二维阵列。

图2示出了一种实施方式的张量处理器的PE二维阵列的架构和数据流向。

图3示出了另一种实施方式的张量处理器的PE二维阵列的架构和数据流向。

图4示出了图3所示的实施方式里的张量处理器的PE二维阵列推导出运算结果第一行。

图5示出了图3所示的实施方式里的张量处理器的PE二维阵列推导出运算结果第二行。

图6示出了图3所示的实施方式里的张量处理器的PE二维阵列推导出运算结果第三行。

图7示出了一种实施方式的张量处理器配置PE二维阵列的PE以适应输入数据矩阵的维度。

图8示出了一种实施方式的张量处理器切割输入数据矩阵以适应PE二维阵列的维度。

图9示出了一种实施方式的张量处理器切割输入数据矩阵后的第一种匹配卷积核与图像数据输入的方式。