[发明专利]使用处理元件阵列的转置运算

说明书

本发明提供了用于使用处理元件阵列运算来转置张量的系统和方法。在一些情况下，可能需要转置张量的元素以执行矩阵运算。可以将所述张量分解成维度与脉动阵列的维度一致的数据元素块。可以对加载到脉动阵列中的每个数据元素块执行恒等乘法，并且在结果缓冲器的列分区中对乘积求和。然后，可以将结果缓冲器的所述列分区中的所述数据元素映射到缓冲存储器的行分区以供进一步处理。

背景技术

加速器是优化用于执行计算的集成电路装置(例如，神经网络计算)，否则可以由通用处理器执行。将存储在计算系统的主存储器中的数据复制或映射到加速器内的存储器位置中，以使得能够更快地存取数据以由加速器的执行引擎执行计算。在一些情况下，基于要由执行引擎执行的计算，可以利用加速器的架构来提高计算速度。

附图说明

将参考附图描述根据本公开的各个实施例，在附图中：

图1是展示了根据本公开的各方面的编译器可以在其上执行的主机系统的实例的框图；

图2是展示了根据本公开的各方面的集成电路装置的实例的框图；

图3是展示了根据本公开的各方面的使用处理元件阵列运算来转置矩阵的过程的简化实例的图；

图4是展示了根据本公开的各方面的张量转置运算的一般化实例的图；

图5是展示了根据本公开的各方面的用于对分解的张量块执行转置运算的方法的实例的流程图；

图6是展示了根据本公开的各方面的加速引擎的实例的框图；

图7包含展示了根据本公开的各方面的主机系统的实例的框图；并且

图8包含根据本公开的各方面的示例网络的图。

具体实施方式

加速引擎可以包含一个或多个加速器以使用处理引擎阵列来执行计算。处理引擎阵列可以执行复杂的计算，如矩阵乘法计算或其它计算。加速器还可以包含存储器子系统。存储器子系统可以包含一个或多个存储数据的缓冲存储器，例如，要由处理引擎阵列处理的神经网络权重和数据，以及由处理引擎阵列执行的计算的中间和/或最终结果。

对于各种处理引擎阵列计算，呈张量形式的数据可以从主机存储器(如，动态随机存取存储器(DRAM))中检索并且存储在缓冲存储器中。在实际应用中，张量中的数据元素的数量可以远大于缓冲存储器一次可以存储和/或处理引擎阵列一次能够处理的数据元素的数量。因此，张量可以被分解成多个合适大小的数据元素块，以便存储在缓冲存储器中。另外，存储在缓冲存储器中的分解的张量的数据元素的数量可能太大而使处理引擎阵列无法一次处理。因此，存储在缓冲存储器中的数据元素块可以被再次分解，以便由处理引擎阵列进行处理。

在一些情况下，可能需要更改张量映射到缓冲存储器的方式。例如，在不同大小的权重和输入的矩阵乘法的情况下，计算可能需要矩阵转置。执行矩阵转置运算的一种方式是将矩阵数据从缓冲存储器复制到主机存储器(如，DRAM)中，并且然后将矩阵数据从主机存储器写回到转置位置处的缓冲存储器中。然而，这种技术可能导致显著的外部存储器存取延迟，并且可能需要占用主机处理器周期的主机处理器干预。为了减少处理引擎阵列执行如矩阵转置运算等计算时的延迟，可以使用内部处理引擎阵列运算来执行矩阵转置运算，而无需向主机存储器写入矩阵数据和从所述主机存储器读取矩阵数据。

在以下说明中，将描述各个实例。出于解释的目的，阐述了具体配置和细节，以便提供对实例的透彻理解。然而，对于本领域的技术人员来说还将显而易见的是，可以在没有具体细节的情况下实践实例。此外，可以省略或简化众所周知的特征以免混淆正在描述的实施例。