[发明专利]执行矩阵乘法的计算装置、方法及相关产品

说明书

本披露公开了一种执行矩阵乘法的计算装置、利用计算装置执行矩阵乘法运算的方法及相关产品。该计算装置可以包括在组合处理装置中，该组合处理装置还可以包括接口装置和其他处理装置。该计算装置与其他处理装置进行交互，共同完成用户指定的计算操作。组合处理装置还可以包括存储装置，该存储装置分别与计算装置和其他处理装置连接，用于存储该计算装置和其他处理装置的数据。本披露的方案利用多核架构来有效支持特殊规模的矩阵乘法，其可以简化处理，提高机器的处理效率。

技术领域

本披露一般地涉及数据处理领域。更具体地，本披露涉及执行矩阵乘法的计算装置、利用计算装置执行矩阵乘法运算的方法、芯片和板卡。

背景技术

矩阵乘法运算是数学和工程领域的常用运算之一，例如近年来迅猛发展的深度学习算法中涉及密集的矩阵乘法运算。

矩阵乘法运算可以一般地表示为C_M×N＝A_M×K*B_K×N。在一些神经网络的运算中，会遇到K维度非常大、M和N维度非常小这种特殊规模的矩阵乘法运算。例如resetnet50神经网络的反向训练权值的情况下，会遇到例如M＝64，N＝64，K＝401408这样的极端情况。

现有的矩阵乘法方案针对这种特殊规模的矩阵乘法很难利用多核架构的计算装置来提升计算性能。

发明内容

为了至少部分地解决背景技术中提到的一个或多个技术问题，本披露的方案提供了一种执行矩阵乘法的计算装置、利用计算装置执行矩阵乘法运算的方法、芯片和板卡。

在第一方面中，本披露公开一种执行矩阵乘法的计算装置，所述计算装置包括S个集群，每个集群包括至少一个处理核和一个存储核，左乘矩阵A的维度大小为M×K，右乘矩阵B的维度大小为K×N，左乘矩阵A和右乘矩阵B的K维度对应地拆分为S对相互配对的子矩阵，M、K、N、S为自然数，其中：所述S个集群配置用于：分别针对一对配对的子矩阵A_i和B_i执行矩阵乘法运算，以得到S个中间结果C_i，其中i＝0,…,S-1；以及对所述S个中间结果执行规约计算，以得到最终结果。

在第二方面中，本披露提供一种芯片，包括前述第一方面任一实施例的计算装置。

在第三方面中，本披露提供一种板卡，包括前述第二方面任一实施例的芯片。

在第四方面中，本披露提供一种利用计算装置执行矩阵乘法运算的方法，其中所述计算装置包括S个集群，每个集群包括至少一个处理核和一个存储核，左乘矩阵A的维度大小为M×K，右乘矩阵B的维度大小为K×N，所述方法包括：将左乘矩阵A和右乘矩阵B的K维度对应地拆分为S对相互配对的子矩阵Ai和Bi，M、K、N、S为自然数，i＝0,…,S-1；将所述S对配对的子矩阵分发至所述S个集群；第i个集群针对配对的子矩阵Ai和Bi执行矩阵乘法运算，得到对应的中间结果Ci；以及利用所述S个集群对运算得到的S个所述中间结果执行规约计算，以得到最终结果。

通过如上所提供的执行矩阵乘法的计算装置、使用该计算装置执行矩阵乘法运算的方法、芯片和板卡，本披露实施例提供了一种支持特殊规模的矩阵乘法的计算装置，其能够通过优化乘法运算过程，充分利用多核架构的运算效力，由此提高机器的运算效率。

附图说明

通过参考附图阅读下文的详细描述，本披露示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本披露的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：

图1示出本披露实施例的板卡的结构图；

图2示出本披露实施例的组合处理装置的结构图；

图3示出本披露实施例的多核计算装置的内部结构示意图；

图4示例性示出CDMA的工作原理；