[发明专利]利用共享控制的计算阵列的空间分片

说明书

本发明的实施例涉及利用共享控制的计算阵列的空间分片。在一个实施例中，用于机器学习加速的方法由包括多个张量处理器的张量处理器集群的共享控制器接收多周期指令，基于指令，确定将由张量处理器执行的向量操作的序列和可用于确定输入张量的相应空间分区的地址信息，每个张量处理器在执行每个向量操作时，将在空间分区上操作。方法还包括，针对序列中的每个向量操作，基于地址信息，生成相对于与每个张量处理器相关联的相应基地址的共同地址偏移，在共同地址偏移处，每个张量处理器将取回张量处理器将在其上操作的输入张量的相应空间分区，将共同地址偏移多播到张量处理器，以及控制张量处理器，以并行地并且锁步地执行向量操作。

交叉引用

本申请要求于2020年9月16日提交的美国非临时专利申请No.17/022,950的优先权，其全部内容通过引用并入本文。

技术领域

本公开一般涉及针对机器学习模型的加速器，并且更具体地涉及被设计以最优地利用由机器学习加速器中的张量处理器提供的并行化(parallelism)的多级控制架构。

背景技术

神经网络被越来越多地用来实现机器学习(ML)技术，以解决多种多样的问题，包括但不限于对象标识、特征分类、或者内容驱动的图像处理。可以被称为卷积神经网络的一些神经网络包括一个或多个卷积层。在卷积神经网络(CNN)中，卷积层通常负责在CNN内的和/或CNN与ML模型的其他元素之间的绝大多数被执行的计算和数据移动，使它们成为性能瓶颈。因此，现有的ML加速器专注于贯穿存储器层次结构连同优化的数据编排一起使用高计算并行化，以加速卷积层的处理。然而，当被实现在具有严格功率消耗约束和实时使用先前被训练的模型来运行推理运用的边缘设备内时，现有ML加速器可能不会执行得很好。例如，现有的ML加速器可能不会在被实现在独立的头戴式显示器(例如，在AR/VR头戴式耳机上)、移动设备或其他边缘计算设备上的针对虚拟现实(VR)、增强现实(AR)、混合现实(MR)、或混合(hybrid)现实的人工现实系统内执行地很好。

发明内容

在本说明书中所描述的主题的创新方面可以被体现在用于机器学习加速的系统中，该系统包括多个张量处理器集群，每个张量处理器集群包括多个张量处理器和集群级控制器。集群级控制器可以被配置为接收多周期指令，并且基于多周期指令来确定(1)将由张量处理器执行的向量操作的序列、以及(2)地址信息，该地址信息可用于确定输入张量的相应空间分区，每个张量处理器在执行序列中的每个向量操作时，将在该相应空间分区上操作。集群级控制器还可以被配置为：针对序列中的每个向量操作，基于地址信息来生成相对于与集群中的每个张量处理器相关联的相应基地址的共同地址偏移，在共同地址偏移处，每个张量处理器将取回输入张量的、该张量处理器将在其上操作的相应空间分区，向集群中的张量处理器多播共同地址偏移，以及控制集群中的张量处理器来锁步地执行向量操作。

这些方面的其他一些实施例包括对应的方法、装置，以及被配置为执行方法的动作、被编码在计算机存储设备上的计算机程序。

这些和其他实施例可以各自可选地包括以下特征中的一个或多个特征。例如，在所公开的实施例中的一个或多个实施例中，由多个张量处理器集群中的给定的一个张量处理器集群接收的第一多周期指令可以表示机器学习程序的部分，机器学习程序包括多个多周期指令，该多个多周期指令中的每个多周期指令与一个或多个卷积操作相关联，该一个或多个卷积操作将在卷积神经网络中的相应层中被执行，并且第一多周期指令的第一周期可以与第一卷积操作相关联。