[发明专利]具有多个累加器的脉动阵列单元

说明书

本说明书描述了硬件处理单元的脉动阵列。在一个方面中，矩阵计算单元包括被布置在脉动阵列中的多个单体。每个单体包括：乘法电路系统，其被配置为确定输入矩阵的元素或子矩阵的乘积；求和电路系统，其被配置为确定输入累加值与所述乘法电路系统所输出的所述乘积的和；多个累加器，其被连接到所述求和电路系统的输出；以及控制器电路，其被配置为从所述累加器中选择给定累加器来接收所述求和电路系统所输出的所述和。

相关申请的交叉引用

本申请要求于2020年11月30日提交的美国临时申请63/119,556号的优先权权益，该申请的全部内容通过引用并入本文。

技术领域

本说明书涉及硬件处理单元的脉动阵列。

背景技术

脉动阵列是处理单元的网络，这些处理单元通过网络计算和传递数据。脉动阵列中的数据以流水线方式在处理单元之间流动，而且每个处理单元都可以基于从其上游相邻处理单元接收的数据独立计算部分结果。处理单元，其也可以被称为单体，可以被硬连线在一起，以将数据从上游处理单元传递给下游处理单元。脉动阵列用于机器学习应用，例如以执行矩阵乘法。

发明内容

一般而言，本说明书中所描述的主题的一个创新方面可以体现在矩阵计算单元中，该矩阵计算单元包括布置在脉动阵列中的多个单体。每个单体包括：乘法电路系统，被配置为确定输入矩阵的元素或子矩阵的乘积；求和电路系统，被配置为确定输入累加值与乘法电路系统所输出的乘积的和；多个累加器，被连接到求和电路系统的输出；以及控制器电路，被配置为从多个累加器中选择给定累加器来接收求和电路系统所输出的和。

这些和其他实施方式可以各自可选地包括以下特征中的一个或多个。在一些方面中，控制器电路被配置为基于单体所接收到的选择器数据为乘法电路系统所确定的多个乘积中的每个乘积选择给定累加器。

在一些方面中，每个单体都包括：第一输入寄存器，被配置为接收第一子矩阵；以及第二输入寄存器，被配置为接收第二子矩阵，并且乘法电路系统所确定的乘积包括第一子矩阵与第二子矩阵的乘积。每个单体可以进一步包括一个或多个选择器寄存器，这些选择器寄存器被配置为接收选择器数据。控制器电路可以被配置为基于选择器数据为乘法电路系统所确定的多个乘积中的每个乘积选择给定累加器。

在一些方面中，选择器数据可以包括定义第一子矩阵的稀疏性模式的数据，该稀疏性模式指示第一子矩阵内非零元素的位置。选择器数据可以包括定义第二子矩阵的稀疏性模式的数据，该稀疏性模式指示第二子矩阵内非零元素的位置。

在一些方面中，选择器数据可以指示第一子矩阵所属的第一子乘法。选择器数据可以指示第二子矩阵所属的第二子乘法。当第一子乘法与第二子乘法匹配时，控制器电路可以被配置为选择与第一子乘法和第二子乘法对应的给定累加器。当第一子乘法与第二子乘法不匹配时，控制器可以被配置为对所有多个累加器禁用写入输入。

在一些方面中，每个累加器都对给定集合的输入矩阵的求和电路系统所输出的值进行累加。

一般而言，本说明书中所描述的主题的另一个创新方面可以体现在数据处理单体中。数据处理单体可以包括：乘法电路系统，被配置为确定输入矩阵的子矩阵的乘积；求和电路系统，被配置为确定输入累加值与乘法电路系统所输出的乘积的和；多个累加器，被连接到求和电路系统的输出；以及控制器电路，被配置为从多个累加器中选择给定累加器来接收求和电路系统所输出的和。

这些和其他实施方式可以各自可选地包括以下一个或多个特征。在一些方面中，控制器电路被配置为基于数据处理单体所接收的选择器数据为乘法电路系统所确定的多个乘积中的每个乘积选择给定累加器。