[发明专利]矩阵乘积累加运算的广义加速

权利要求书

1.一种处理器，包括：

数据路径，其被配置为执行矩阵乘积和累加(MMA)运算以在所述数据路径的输出处生成结果矩阵的多个元素，

其中所述结果矩阵的所述多个元素中的每个元素是通过计算与在用于所述MMA运算的指令中指定的矩阵运算对象相关联的相应向量对的至少一个点积来生成的，以及

其中用于计算所述至少一个点积中的每个点积的点积运算包括：

通过将第一向量的每个元素与第二向量的对应元素相乘来生成多个部分乘积，

基于与所述第一向量的每个元素和所述第二向量的每个元素相关联的指数来对齐所述多个部分乘积，以及

利用至少一个加法器并行地将所述多个经对齐的部分乘积累加到结果队列中。

2.根据权利要求1所述的处理器，其中所述数据路径被配置为在所述数据路径的第一阶段中将所述矩阵运算对象的一个或更多个元素转换成半精度浮点格式值。

3.根据权利要求1所述的处理器，其中所述数据路径被配置为并行地生成多个4向量点积。

4.根据权利要求1所述的处理器，其中所述数据路径包括多个流水线阶段，并且其中，与双精度浮点熔合乘积累加(DFMA)数据路径共享所述多个流水线阶段中的至少一个流水线阶段。

5.根据权利要求4所述的处理器，其中所述至少一个流水线阶段包括完成加法器，所述完成加法器被配置为并行地将所述多个经对齐的部分乘积累加到所述结果队列中。

6.根据权利要求1所述的处理器，其中所述数据路径被配置为在单个指令周期期间在多次通过中生成所述结果矩阵的所述多个元素。

7.根据权利要求1所述的处理器，其中所述处理器是包括多个流式多处理器(SM)的并行处理单元，所述多个SM中的每个SM包括寄存器文件和多个内核，所述多个内核中的每个内核包括所述数据路径的实例。

8.根据权利要求7所述的处理器，其中所述MMA运算被配置为由多个线程并行执行，每个线程被配置为使用在所述指令中指定的所述矩阵运算对象的所述向量的不同组合在特定内核上生成所述结果矩阵中的所述元素的一部分。

9.一种方法，包括：

接收用于矩阵乘积和累加(MMA)运算的指令；以及

由处理器执行所述MMA运算以在数据路径的输出处生成结果矩阵的多个元素，

其中所述结果矩阵的所述多个元素中的每个元素是通过计算与在用于所述MMA运算的所述指令中指定的矩阵运算对象相关联的相应向量对的至少一个点积来生成的，

其中用于计算所述至少一个点积中的每个点积的点积运算包括：

通过将第一向量的每个元素与第二向量的对应元素相乘来生成多个部分乘积，

基于与所述第一向量的每个元素和所述第二向量的每个元素相关联的指数来对齐所述多个部分乘积，以及

利用至少一个加法器将所述多个经对齐的部分乘积累加到结果队列中。

10.根据权利要求9所述的方法，其中所述数据路径被配置为在所述数据路径的第一阶段中将所述矩阵运算对象的一个或更多个元素转换成半精度浮点格式值。

11.根据权利要求9所述的方法，其中所述数据路径被配置为并行地生成多个4向量点积。

12.根据权利要求9所述的方法，其中所述数据路径包括多个流水线阶段，并且其中，与双精度浮点熔合乘积累加(DFMA)数据路径共享所述多个流水线阶段中的至少一个流水线阶段。

13.根据权利要求9所述的方法，其中所述数据路径被配置为在单个指令周期期间在多次通过中生成所述结果矩阵的所述多个元素。