[发明专利]卷积神经网络中用于稀疏张量的灵活加速器

权利要求书

1.一种装置，所述装置包括：

张量计算集群，所述张量计算集群包括多个张量计算单元以处理机器学习应用程序中的多个子特征映射图；

张量存储器集群，所述张量存储器集群包括多个张量特征映射图存储器单元以存储所述多个子特征映射图；和

电路，所述电路用于：

将输入特征映射图划分为所述多个子特征映射图，使得所述多个子特征映射图中的每个子特征映射图中的稀疏性满足预先确定的阈值；以及

将所述多个子特征映射图中的每个子特征映射图分派给所述多个张量计算单元中的一个张量计算单元和所述多个张量特征映射图存储器单元中的一个张量特征映射图存储器单元以用于并行处理。

2.根据权利要求1所述的装置，其中所述多个张量特征映射图存储器单元中的每个张量特征映射图存储器单元连接到所述多个张量计算单元中的一个张量计算单元，使得所述电路发送所述多个子特征映射图中的第一子特征映射图，所述第一子特征映射图被分派给所述多个张量计算单元中的第一张量计算单元并且将存储在所述多个张量特征映射图存储器单元中与所述第一张量计算单元相关联的第一张量特征映射图存储器单元中。

3.根据权利要求1至2中任一项所述的装置，其中所述张量存储器集群还包括用于存储核矩阵的张量权重存储器。

4.根据权利要求3所述的装置，其中所述张量权重存储器包括用于存储所述核矩阵并将所述核矩阵发送到所述张量计算集群的多个缓冲器。

5.根据权利要求1至4中任一项所述的装置，其中所述多个张量特征映射图存储器单元中的每个张量特征映射图存储器单元包括多个缓冲器、用于在所述多个缓冲器中写入所述多个子特征映射图的写入开关，以及用于所述多个缓冲器读取所述多个子特征映射图的读取开关。

6.根据权利要求5所述的装置，其中所述多个缓冲器包括用于存储所述多个子特征映射图中的至少一个子特征映射图的数据值的第一缓冲器和用于存储与所述数据值对应的索引值的第二缓冲器。

7.根据权利要求1至6中任一项所述的装置，其中为了将所述输入特征映射图划分为所述多个子特征映射图，所述电路：

将所述输入特征映射图切分为预先确定数量的初始划分区；以及

重组所述初始划分区中的至少一些初始划分区，使得所述初始划分区中的每个初始划分区在所述重组之后满足所述预先确定的阈值。

8.根据权利要求7所述的装置，其中所述初始划分区的所述预先确定的数量基于所述多个张量计算单元的数量。

9.根据权利要求7所述的装置，其中所述电路通过从相邻初始划分区向第一初始划分区重新分配行和/或列来重组所述初始划分区中的至少一些初始划分区。

10.根据权利要求1至9中任一项所述的装置，其中所述多个子特征映射图中的第一子特征映射图与所述多个子特征映射图中的第二子特征映射图具有不同的尺寸。

11.根据权利要求1至10中任一项所述的装置，其中所述多个张量计算单元中的每个张量计算单元包括多个乘法器，并且其中所述多个乘法器中的每个乘法器计算所述多个子特征映射图中的第一子特征映射图的数据值和来自核矩阵的权重值之间的乘积。

12.根据权利要求1至10中任一项所述的装置，其中所述多个张量计算单元中的每个张量计算单元一次处理处理所述多个子特征映射图中的一个子特征映射图以生成输出子特征映射图，并且其中所述电路组合来自所述多个张量计算单元中的每个张量计算单元的所述输出子特征映射图，以获得针对所述输入特征映射图的输出特征映射图。