[发明专利]用于矩阵乘操作的集成电路装置、计算设备、系统和方法

说明书

本披露公开了一种集成电路装置、电子设备、板卡和使用前述集成电路装置来执行矩阵乘的方法。该集成电路装置可以包括在组合处理装置的计算处理装置中，该计算处理装置可以包括一个或多个集成电路装置。前述的组合处理装置还可以包括接口装置和其他处理装置。所述计算处理装置与其他处理装置进行交互，共同完成用户指定的计算操作。组合处理装置还可以包括存储装置，该存储装置分别与设备和其他处理装置连接，用于存储该设备和其他处理装置的数据。本披露的方案可以降低内部设备与外部存储装置之间的数据传输量，由此最大程度地减少了由于带宽限制而导致的I/O瓶颈问题，从而可以提高集成电路装置的整体性能。

技术领域

本披露一般地涉及数据处理领域。更具体地，本披露涉及一种用于矩阵乘操作的集成电路装置、板卡、计算设备、计算系统和方法。

背景技术

人工智能领域通常涉及大量的数据处理和运算，这其中包括各种类型数据的矩阵乘操作。以当前人工智能领域内的机器学习为例，其中的许多计算任务都涉及到大规模的矩阵乘运算，特别是大矩阵的相乘操作。进一步以机器学习中的深度学习为例，其中就包含着类型和数目众多的矩阵乘操作，包括例如全连接层中的权值矩阵和输入向量的矩阵乘操作以及卷积层中的输入向量和卷积核的矩阵乘操作。可以想到的是当涉及的矩阵乘运算数据量和数据尺度越大，则对计算平台(特别是对片上系统)的存储量的要求就越高。

在现有的矩阵乘运算中，通常会利用中央处理器(“CPU”)或者图像处理单元(“GPU”)等处理器进行运算。然而，由于处理器受制于内部寄存器资源的容量限制，庞大的数据运算量可能会导致处理器与外部存储设备之间产生大量的数据交互。由于处理器与外部存储器之间的输入/输出(“I/O”)总线的带宽是有限的，由此就很可能会出现严重的I/O瓶颈问题，由此造成数据传递的延迟并且极大地降低了并行运算时的运算效率。进一步，不仅I/O总线的带宽限制会成为系统性能的瓶颈，而且处理器与外部存储设备间大量的I/O访存量也会对计算和功耗开销带来不利的影响。

发明内容

为了至少解决在上文中所提到的技术问题，本披露提供了一种能够高效地执行矩阵乘操作的硬件架构和运算方式，由此减少与外部存储设备的数据传输量，最大程度地降低总线带宽限制带来的I/O瓶颈问题的解决方案，提高矩阵乘的运算效率。具体地，本披露在如下的多个方面中提供前述的解决方案。

在第一方面中，本披露公开了一种用于矩阵乘操作的集成电路装置，包括：接口单元，其配置成从外部存储器获取用于所述矩阵乘操作的矩阵数据，其中所述矩阵数据包括第一矩阵和第二矩阵，其中第一矩阵和第二矩阵被分别划分成N²个第一矩阵块和N²个第二矩阵块，并且所述第一矩阵和第二矩阵的矩阵乘操作包括基于N²个第一矩阵块和N²个第二矩阵块的N²个矩阵乘任务，其中N是大于或等于2的正整数；N²个主计算单元，该N²个主计算单元依次连接以形成数据传递的回路，其中每个主计算单元配置成执行N²个矩阵乘任务中的相应一个，并且包括：多个存储区，其配置成存储用于执行矩阵乘任务的矩阵块和中间结果；以及控制单元，其配置成与相邻的主计算单元进行矩阵块交换。

在执行上述相应一个所述矩阵乘任务中，每个所述主计算单元配置成：通过所述接口单元获取与其矩阵乘任务关联的一个第一矩阵块和一个第二矩阵块，并且分别存储于第一存储区和第二存储区中；对所述一个第一矩阵块和一个第二矩阵块执行矩阵乘操作，以得到一个中间结果；通过所述控制单元并且利用所述第一存储区和第二存储区来与相邻的主计算单元执行N-1次矩阵块交换，并且对每次交换到的第一矩阵块和第二矩阵块执行矩阵乘操作，以分别得到N-1个中间结果；以及对N个中间结果执行求和操作，以完成与其关联的矩阵乘任务。

在第二方面中，本披露公开了一种板卡，包括前述和稍后将在多个实施例中描述的集成电路装置。

在第三方面中，本披露公开了一种计算设备，包括前述和稍后将在多个实施例中描述的板卡。