[发明专利]矩阵乘积累加运算的广义加速

说明书

公开了用于执行矩阵乘积和累加(MMA)运算的方法、计算机可读介质和处理器。处理器包括数据路径，其被配置为执行MMA运算以在数据路径的输出处生成结果矩阵的多个元素。通过计算与在用于MMA运算的指令中指定的矩阵运算对象相关联的相应向量对的至少一个点积来生成结果矩阵的每个元素。点积操作包括以下步骤：通过将第一向量的每个元素与第二向量的对应元素相乘来生成多个部分乘积；基于与第一向量的每个元素和第二向量的每个元素相关联的指数来对齐多个部分乘积；以及利用至少一个加法器将多个经对齐的部分乘积累加到结果队列中。

本申请是2018年5月7日提出的第201810425869.9号中国专利申请的分案申请。

相关申请的交叉引用

本申请要求于2017年5月8日提交的标题为“矩阵乘积累加运算的广义加速(Generalized Acceleration of Matrix Multiply Accumulate Operations)”的美国临时申请No.62/503,159(代理人案卷号NVIDP1157+)的权益，其全部内容通过引用并入本文。

技术领域

本公开涉及在处理器上实现算术运算，并且更具体地涉及矩阵乘积累加运算的加速。

背景技术

现代计算机处理器基本上是集成电路，设计为完成逻辑任务。处理器真正擅长实现的一项任务是对以不同格式(例如，8位整数、32位整数、32位浮点值等)编码的数字执行算术运算。但是，大多数处理器包含用于对标量运算对象执行这些算术运算的逻辑。例如，设计用于执行加法运算的逻辑被设计为使用两个不同的运算对象来执行运算，每个运算对象编码特定值以与另一个运算对象相加。但是，算术运算不限于标量值。实际上，许多应用可能会对向量或矩阵输入使用算术运算。对向量进行算术运算的一个示例是点积运算。尽管在这些应用(例如，物理学)中计算点积是常见的，但是现代处理器通常没有被设计在电路中以有效地执行这些运算的硬件。相反，使用标量值将较高级别的运算简化为一系列基本的算术运算。例如，在点积运算中，每个向量运算对象包括多个元素，并且通过将两个输入向量的相应元素对相乘以生成多个部分乘积(即，中间结果)和然后对多个部分乘积进行求和来执行点积运算。每个基本算术运算都可以使用被设计到处理器中的硬件逻辑来顺序执行，并且中间结果可以存储在临时存储器中，并且可以重新用作另一个后续算术运算的运算对象。

常规的处理器包括一个或更多个内核，其中每个内核可包括用于对整数和/或浮点值执行基本运算的算术逻辑单元(arithmetic logic unit，ALU)和/或浮点单元。常规的浮点单元可以被设计为实现熔合乘积累加(fused multiply accumulate，FMA)运算，其将两个标量运算对象相乘，并将中间结果以及可选的第三标量运算对象添加到累加寄存器。矩阵乘积和累加(matrix multiply and accumulate，MMA)运算是应用于矩阵运算对象的标量值的FMA运算的扩展。换句话说，MMA运算将两个矩阵相乘，并且可选地将得到的中间矩阵加到第三矩阵运算对象。从根本上说，MMA运算可以被简化为加到累加寄存器中的多个基本点积运算。此外，点积运算可以进一步简化为对标量运算对象对的一系列FMA运算。