[发明专利]原生张量处理器及张量缩并的分割

权利要求书

1.使用原生张量处理器计算张量TX和TY的缩并的方法，其中所述张量TX和TY的缩并的特征在于等价矩阵乘法X(l,n)×Y(n,m)＝Z(l,m)，其中X是对于张量TX的展开矩阵，Y是对于张量TY的展开矩阵，并且l＝1…L和m＝1…M是第一自由指数，并且n＝1…N是第一缩并指数；并且原生张量处理器包括缩并引擎，缩并引擎包括分配部段、处理部段和收集部段，所述处理部段包括多个原子处理元素，所述多个原子处理元素(a)计算外积α×β，其中α是ι×1列向量，并且β是行向量，以及(b)沿着第一缩并指数n对外积α×β进行累加；所述方法包括：

基于外积的总和将矩阵乘法X×Y分割成一组分量矩阵乘法A×B，该分割是通过以下组合来实现的：(a)在分配和收集部段中的硬件并行，(b)时分复用以及(c)通过原子处理元素累加外积α×β；

使用原子处理元素计算分量矩阵乘法A×B＝C；以及

将分量积C结合到积Z＝X×Y中。

2.根据权利要求1所述的方法，其特征在于，由在分配和收集部段的硬件并行实现的分割包括：

相对于第一缩并指数n而在分配部段中分散，以及在收集部段中相应的减少。

3.根据权利要求1所述的方法，其特征在于，由在分配和收集部段的硬件并行实现的分割包括：

相对于第一自由指数l、m而在分配部段中分散，以及在收集部段中相应的聚集。

4.根据权利要求1所述的方法，其特征在于，在分配和收集部段的硬件并行是可配置的，并且分割矩阵乘法X×Y包括：

根据L、M、N的大小，配置分配和收集部段中的硬件并行。

5.根据权利要求1所述的方法，其特征在于，相对于第一缩并指数n对矩阵乘法X×Y进行分割，是完全通过以下实现的：(a)在分配和收集部段中的硬件并行、以及(c)通过原子处理元素进行的外积α×β的累加。

6.根据权利要求1所述的方法，其特征在于，相对于第一缩并指数n对矩阵乘法X×Y进行分割，包括在分配和收集部段中通过时分复用进行的实现。

7.根据权利要求1所述的方法，其特征在于，相对于第一缩并指数n的硬件并行是固定的，并且通过原子处理元素沿着第一缩并指数n对外积α×β的累加是由第一缩并指数的大小N确定的。

8.根据权利要求1所述的方法，其特征在于，相对于第一自由指数l、m对矩阵乘法X×Y进行分割是使用(a)在分配和收集部段中的硬件并行，和(b)时分复用这两者来实现的。

9.根据权利要求1所述的方法，其特征在于，相对于第一缩并指数l、m的硬件并行是固定的，并且所述时分复用是由第一自由指数的大小L×M确定的。

10.根据权利要求1所述的方法，其特征在于，原生张量处理器还包括多个外积单元，所述多个外积单元通过外积之和来计算矩阵乘法，并且分割矩阵乘法X×Y包括：

相对于第二缩并指数k将X×Y矩阵乘法分割成多个Xk×Yk外积，并将Xk×Yk外积引导到外积单元。

11.根据权利要求10所述的方法，其特征在于，外积单元通过外积之和来计算矩阵乘法A(i,k)×B(k,j)＝C(i,j)，其中i＝1…I和j＝1…J是第二自由指数，k＝1…K是第二缩并指数；并且

分割矩阵乘法X×Y包括：

将矩阵乘法X×Y分割成可由外积单元执行的一组A×B矩阵乘法。

12.根据权利要求11所述的方法，其特征在于，I、J、K是可配置的，并且分割矩阵乘法X×Y包括基于L、M、N的大小确定I、J、K的值。

13.根据权利要求11所述的方法，其特征在于，I、J、K是可配置的，并且分割矩阵乘法X×Y包括：假设I×J的积是恒定的，基于L、M、N的大小确定I、J、K的值。