[发明专利]多维度并行的人工智能处理器架构

权利要求书

1.一种多维度并行的人工智能处理器架构，其特征在于，包括用于多维度数据并行处理的计算核心阵列(2)，所述的计算核心阵列(2)连接有控制与线程调度核心(1)及Tensor缓存控制器(7)，所述的计算核心阵列(2)包括多个至少在两个维度上阵列分布的计算模块，控制与线程调度核心(1)用于控制计算核心阵列(2)上线程的调度与切换，Tensor缓存控制器(7)连接于主存(5)，用于计算核心阵列(2)上计算模块与主存(5)之间的数据交换；

每个计算模块包括一个计算核心及附接于计算核心的Tensor缓存，Tensor缓存与主存(5)中的关联矩阵相关联，并利用关联关系进行Tensor缓存与主存(5)之间的数据交换，且所述的关联矩阵被定义为：

matrix[i][j][k]；0≤i＜N1,0≤j＜N2,0≤K＜N3

N1、N2和N3分别为关联矩阵在三个维度上的最大值；

Tensor缓存的Tensor结构变量tensor被定义为

tensor{BLOCK.x,BLOCK.y,BLOCK.z}{SLICE.x,SLICE.y}{CORE.x,CORE.y}

其中，{BLOCK.x,BLOCK.y,BLOCK.z}对应Tensor存储体中物理维度的z维度；

{SLICE.x,SLICE.y}对应于计算核心阵列(2)中计算核心的二维阵列；

{CORE.x,CORE.y}对应于Tensor存储体中物理维度的x维度和y维度；

0≤SLICE.x＜SLICE.X；0≤SLICE.y＜SLICE.Y，

0≤CORE.x＜CORE.X,0≤CORE.y＜CORE.Y，SLICE.X和SLICE.Y分别为计算核心阵列(2)的行数和列数，CORE.X和CORE.Y分别为Tensor缓存中每个Tensor存储体x和y维度上的最大值；

所述的关联关系包括以下方式的任意一种或多种的组合：

1)利用Tensor的BLOCK前两维、SLICE维和CORE维来对应关联矩阵的低二维j和k，Block的最后一维对应关联矩阵的高维i：

i＝BLOCK.z

j＝BLOCK.x×SLICE.X×CORE.X+SLICE.x×CORE.X+CORE.x+V_OFFSET

k＝BLOCK.y×SLICE.Y×CORE.Y+SLICE.y×CORE.Y+CORE.y+H_OFFSET

2)利用Tensor的BLOCK维和SLICE维来对应关联矩阵的低二维j和k，CORE维对应关联矩阵的高维i：

i＝BLOCK.z×CORE.X×CORE.Y+CORE.y×CORE.Y+CORE.x

j＝BLOCK.x×SLICE.X+SLICE.x+V_OFFSET

k＝BLOCK.y×SLICE.Y+SLICE.y+H_OFFSET

3)将CORE维拆分分配给不同的维度：

i＝BLOCK.z×CORE.Y+CORE.y

j＝BLOCK.x×SLICE.X×CORE.X+SLICE.x×CORE.X+CORE.x+V_OFFSET

k＝BLOCK.y×SLICE.Y+SLICE.y+H_OFFSET

或

i＝BLOCK.z×CORE.X+CORE.x

j＝BLOCK.x×SLICE.X+SLICE.x+V_OFFSET

k＝BLOCK.y×SLICE.Y×CORE.Y+SLICE.y×CORE.Y+CORE.y+H_OFFSET

其中，{V_OFFSET，H_OFFSET}为关联矩阵与tensor之间的顶点偏移关系。

2.根据权利要求1所述的多维度并行的人工智能处理器架构，其特征在于，每个计算核心具有用于访存本计算核心对应的Tensor缓存的访存部件以使每个Tensor缓存与计算核心之间具有独立的访存带宽；

阵列分布的计算核心之间通过核间通信模块进行计算核心之间的数据交换。

3.根据权利要求2所述的多维度并行的人工智能处理器架构，其特征在于，所述的核间通信模块包括垂直通信网络和水平通信网络，所述的水平通信网络用于数据的水平循环移动，或水平广播，或水平循环移动和水平广播，所述的垂直通信网络用于数据的垂直循环移动，或垂直广播，或垂直循环移动和垂直广播。