[发明专利]多维度并行的人工智能处理器架构

说明书

本发明提供了一种多维度并行的人工智能处理器架构，包括用于多维度数据并行处理的计算核心阵列，所述的计算核心阵列连接有控制与线程调度核心及Tensor缓存控制器，所述的计算核心阵列包括多个至少在两个维度上阵列分布的计算模块，控制与线程调度核心用于控制计算核心阵列上线程的调度与切换，Tensor缓存控制器连接于主存，用于计算核心阵列上计算模块与主存之间的数据交换。采用多维度并行开发的方式解决卷积网络层大计算量的问题；解决计算问题的同时解决池化、全连接层等计算/访存比较低，需优化访存带宽的问题。

技术领域

本发明属于芯片设计技术领域，尤其是涉及一种多维度并行的人工智能处理器架构。

背景技术

矩阵乘、图像插值以及卷积网络等算法中，算法的运算过程具有较大的计算量，尤其是卷积网络算法，例如用于图片分类的AlexNet、GoogleNet、ResNet和VGG网络，用于目标识别的R-CNN、YOLO、YOLO2和SSD等网络，生成网络GAN和VAX等网络中，卷积层中的卷积运算是一种很耗费能效数据，计算量很大的运算，需要采用一定的手段提高运算处理效率以提高整个算法的速度。并且，数据在有限带宽的传输中也会造成计算过程的瓶颈，此外，池化层、全连接层等计算/访存比较低，需优化访存带宽的使用。

现有技术中，人们提出了一种多核异构处理器，在异构方式下一般是某些核心用于管理调度，另外一些核心用于特定的性能加速，处理器之间松耦合，通过共享总线、交叉开关互联和片上网络互联，采用off-load的工作模式，并未考虑访存带宽问题。无法从本质上解决卷积运算过程中由于有限带宽的传输对计算过程造成瓶颈的问题，没有解决池化、全连接层等计算/访存比较低，需优化访存带宽的问题。

发明内容

本发明的目的是针对上述问题，提供一种多维度并行的人工智能处理器架构。

一种多维度并行的人工智能处理器架构，包括用于多维度数据并行处理的计算核心阵列，所述的计算核心阵列连接有控制与线程调度核心及Tensor缓存控制器，所述的计算核心阵列包括多个至少在两个维度上阵列分布的计算模块，控制与线程调度核心用于控制计算核心阵列上线程的调度与切换，Tensor缓存控制器连接于主存，用于计算核心阵列上计算模块与主存之间的数据交换。

在上述的多维度并行的人工智能处理器架构中，每个计算模块包括一个计算核心及附接于计算核心的Tensor缓存，且每个计算核心具有用于访存本计算核心对应的Tensor缓存的访存部件以使每个Tensor缓存与计算核心之间具有独立的访存带宽；

阵列分布的计算核心之间通过核间通信模块进行计算核心之间的数据交换。

在上述的多维度并行的人工智能处理器架构中，所述的核间通信模块包括垂直通信网络和水平通信网络，所述的水平通信网络用于数据的水平循环移动和/或水平广播，所述的垂直通信网络用于数据的垂直循环移动和/或垂直广播。

在上述的多维度并行的人工智能处理器架构中，每个Tensor缓存均包括构成二维阵列的多个Tensor存储体，每个Tensor存储体保存一个对应的Tensor，且每个Tensor存储体具有用于表示当前Tensor存储体所保存的Tensor的独立标签。

在上述的多维度并行的人工智能处理器架构中，每个Tensor存储体在(x,y,z)三个维度上进行数据索引，其中x维度和y维度分别为Tensor缓存中Tensor存储体所构成二维阵列的x维度和y维度，z维度上的地址保存在Tensor存储体的索引中。

在上述的多维度并行的人工智能处理器架构中，每个Tensor缓存为一个Tensor缓存片，每个Tensor缓存片由一个Bolck块在二维空间上被切分而得，每个Block块由Tensor高速缓存在第三维空间上被切分而得，且由Block块的三个维度构成所述Tensor存储体的z维度。