[发明专利]使用处理元件阵列的转置运算

权利要求书

1.一种计算机实施的方法，其包括：

由编译器接收要由执行引擎执行的一组运算；

由所述编译器确定所述一组运算包含对张量执行矩阵转置运算；

由所述编译器将所述矩阵转置运算转换为恒等矩阵乘法运算；以及

由所述编译器生成一组指令，所述一组指令能操作以通过以下来转置所述张量：

将所述张量的数据元素从所述执行引擎的缓冲存储器加载到所述执行引擎的脉动阵列中；对所述脉动阵列中的所述数据元素执行恒等乘法；将所述恒等乘法的结果存储在所述执行引擎的结果缓冲器中；并且将所述结果从所述结果缓冲器加载到所述缓冲存储器中。

2.根据权利要求1所述的计算机实施的方法，其中加载所述张量的所述数据元素包括响应于所述一组指令中的第一指令而通过第一数据总线将所述数据元素加载到所述脉动阵列中。

3.根据权利要求1或2中任一项所述的计算机实施的方法，其中执行所述恒等乘法包括通过所述一组指令中的第二指令在所述脉动阵列的每个处理周期期间通过第二数据总线将恒等矩阵的列从所述缓冲存储器一次一列地传播到所述脉动阵列中。

4.根据权利要求1到3中任一项所述的计算机实施的方法，其中所述结果缓冲器包括一组列分区，并且所述结果缓冲器中的每个列分区对应于所述脉动阵列中的一列处理元件。

5.根据权利要求1到4中任一项所述的计算机实施的方法，其中：

所述缓冲存储器包括一组行分区，并且

所述一组指令中的第一指令将所述结果缓冲器中的每个列分区映射到所述缓冲存储器的行分区。

6.根据权利要求1到5中任一项所述的计算机实施的方法，其中所述恒等乘法包括将存储在所述脉动阵列的一组处理元件列中的每一列中的所述张量的数据元素乘以恒等矩阵的每一列，并且

其中所述张量的一列数据元素与所述恒等矩阵的一列相乘生成至多一个非零值。

7.根据权利要求1到6中任一项所述的计算机实施的方法，其中所述将所述恒等乘法的所述结果存储在所述结果缓冲器中包括对来自由所述脉动阵列执行的每一列乘法的乘积求和，并且

其中每个求和的乘积的值等于所述张量的与所述恒等矩阵的所述列中的非零元素相对应的数据元素。

8.根据权利要求1到7中任一项所述的计算机实施的方法，其中在将所述张量的所述数据元素加载到所述执行引擎中时，将所述恒等乘法的所述结果存储在所述结果缓冲器中在所述结果缓冲器中的相同行位置和相同列位置中再现所述数据元素。

9.根据权利要求1到8中任一项所述的计算机实施的方法，其进一步包括：

在转置所述张量之前，通过由所述编译器生成的所述一组指令将所述张量分解成所述张量的维度不超过所述缓冲存储器的维度的数据元素块；以及

将数据元素块存储在所述缓冲存储器中。

10.根据权利要求1到9中任一项所述的计算机实施的方法，其中所述计算机实施的方法进一步包括：

通过由所述编译器生成的所述一组指令将存储在所述缓冲存储器中的所述张量的所述数据元素块分解成维度不超过所述脉动阵列的维度的数据元素子块；以及

将数据元素子块加载到所述脉动阵列中。

11.根据权利要求1到10中任一项所述的计算机实施的方法，其中：

所述缓冲存储器包括一组行，

所述缓冲存储器的每一行包括分区，

将所述张量的所述子块中的所述数据元素映射到所述缓冲存储器中的所述分区，并且

将存储在所述缓冲存储器中的每个分区中的所述数据元素加载到所述脉动阵列中的对应行中。

12.根据权利要求1到11中任一项所述的计算机实施的方法，其中所述张量的所述数据元素是由所述执行引擎执行的计算的中间结果。