[发明专利]利用共享控制的计算阵列的空间分片

权利要求书

1.一种用于机器学习加速的系统，包括：

多个张量处理器集群，每个张量处理器集群包括：

多个张量处理器；以及

集群级控制器，被配置为：

接收多周期指令；

基于所述多周期指令确定：(1)将由所述多个张量处理器执行的向量操作的序列，以及(2)地址信息，所述地址信息可用于确定输入张量的相应空间分区，每个张量处理器在执行每个向量操作时，将在所述相应空间分区上操作；以及

针对所述序列中的每个向量操作：

基于所述地址信息，生成相对于与每个张量处理器相关联的相应基地址的共同地址偏移，在所述共同地址偏移处，每个张量处理器将取回所述输入张量的、所述张量处理器将在其上操作的所述相应空间分区；

向所述多个张量处理器多播所述共同地址偏移；以及

控制所述多个张量处理器来锁步地执行所述向量操作。

2.根据权利要求1所述的系统，其中：

由所述多个张量处理器集群中的一个给定集群接收的第一多周期指令表示机器学习程序的部分；

所述机器学习程序包括多个多周期指令，所述多个多周期指令中的每个多周期指令与一个或多个卷积操作相关联，所述一个或多个卷积操作将在卷积神经网络中的相应层中被执行；并且

所述第一多周期指令的第一周期与第一卷积操作相关联。

3.根据权利要求2所述的系统，其中：

在所述给定集群中的所述集群级控制器被配置为：

基于所述第一多周期指令确定：(1)将由所述给定集群中的多个张量处理器执行的向量操作的第一序列，以及(2)地址信息，所述地址信息可用于确定输入张量的所述相应空间分区，所述给定集群中的每个张量处理器在执行向量操作的所述第一序列中的每个向量操作时，将在所述相应空间分区上操作；以及

针对向量操作的所述第一序列中的每个向量操作：

基于所述地址信息，生成相对于与所述给定集群中的每个张量处理器相关联的相应基地址的共同地址偏移，在所述共同地址偏移处，所述给定集群中的每个张量处理器将取回所述输入张量的、所述张量处理器将在其上操作的所述相应空间分区；

向所述给定集群中的所述多个张量处理器多播所述共同地址偏移；以及

控制所述给定集群中的所述多个张量处理器来锁步地执行所述向量操作；

向量操作的所述第一序列中的向量操作中的每个向量操作包括以下一项或多项：向量读取操作、向量加法操作、以及向量乘法操作；并且

所述给定集群中的每个张量处理器包括乘法和累加MAC计算单元的硬件计算阵列，所述硬件计算阵列被配置为在所述输入张量的所述相应空间分区上执行向量操作，所述张量处理器在执行向量操作的所述第一序列中的每个向量操作时，将在所述相应空间分区上操作。

4.根据权利要求2所述的系统，其中：

所述给定集群中的所述集群级控制器还被配置为：

基于所述第一多周期指令确定：(3)权重信息，所述权重信息可用于确定将被应用在与所述第一多周期指令相关联的所述一个或多个卷积操作中的权重；

针对向量操作的所述第一序列中的至少一个向量操作、并且取决于所述权重信息，确定与所述第一多周期指令相关联的所述权重的第一子集，所述第一子集与第一卷积操作相关联；以及

向所述给定集群中的多个张量处理器中的至少一个张量处理器的硬件计算阵列提供所述权重的、与所述第一卷积操作相关联的所述第一子集，用于所述第一多周期指令的所述第一周期中的所述第一卷积操作的执行。

5.根据权利要求4所述的系统，其中：

所述给定集群中的每个张量处理器被配置为：基于所述输入张量的所述相应空间分区，生成输出张量的相应空间分区，所述给定集群中的每个张量处理器将使用单指令多数据SIMD并行化来在所述输入张量的所述相应空间分区上操作；

为实现SIMD并行化，所述给定集群中的每个张量处理器被配置为实现数据并行化；并且

所述集群级控制器还被配置为：向所述给定集群中的所述多个张量处理器中的两个或更多个张量处理器的硬件计算阵列提供所述权重的、与所述第一卷积操作相关联的所述第一子集，用于所述第一多周期指令的所述第一周期中的所述第一卷积操作的执行。