[发明专利]一种基于昇腾AI处理器的矩阵乘算子的处理方法及装置

说明书

本发明公开了一种基于昇腾AI处理器的矩阵乘算子的处理方法及装置。其中，该方法包括：获取矩阵乘算子的第一源操作数和第二源操作数；对第一源操作数进行数据转换处理，得到第一转换结果，以及对第二源操作数进行数据转换处理，得到第二转换结果；对第一转换结果进行分块处理，得到第一分块结果，以及对第二转换结果进行分块处理，得到第二分块结果；采用与人工智能处理器中计算核心数量对应的多个计算核心对第一分块结果与第二分块结果进行矩阵乘运算，得到中间运算结果；对中间运算结果进行数据转换处理，得到矩阵乘算子的输出结果，其中，输出结果的输出格式为二维格式。本发明解决了矩阵乘运算的运算效率低的技术问题。

技术领域

本发明涉及人工智能领域，具体而言，涉及一种基于昇腾AI处理器的矩阵乘算子的处理方法及装置。

背景技术

人工智能(Artificial Intelligence，AI)计算的核心是矩阵乘运算，矩阵乘(Matrix Multiplication，MatMul)算子是AI计算中的重要计算单元。

现有方案中，MatMul算子可以通过张量虚拟机(Tensor Virtual Machine,TVM)的开发方式实现，但是，在这种开发方式下，无法对AI处理器的硬件特性进行针对性优化，使得矩阵乘算子的计算速度达到最优，进而存在矩阵乘运算的运算效率低的技术问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种基于昇腾AI处理器的矩阵乘算子的处理方法及装置，以至少解决矩阵乘运算的运算效率低的技术问题。

根据本发明实施例的第一方面，提供了一种基于昇腾AI处理器的矩阵乘算子的处理方法，包括：获取矩阵乘算子的第一源操作数和第二源操作数，其中，第一源操作数为二维格式的矩阵乘的左矩阵，第二源操作数为二维格式的矩阵乘的右矩阵；对第一源操作数进行数据转换处理，得到第一转换结果，以及对第二源操作数进行数据转换处理，得到第二转换结果，其中，第一转换结果为三维格式的矩阵乘的左矩阵，第二转换结果为三维格式的矩阵乘的右矩阵；对第一转换结果进行分块处理，得到第一分块结果，以及对第二转换结果进行分块处理，得到第二分块结果；采用与人工智能处理器中计算核心数量对应的多个计算核心对第一分块结果与第二分块结果进行矩阵乘运算，得到中间运算结果；对中间运算结果进行数据转换处理，得到矩阵乘算子的输出结果，其中，输出结果的输出格式为二维格式。

基于第一方面所述的方法，可以充分调用AI处理器的硬件特性，提升矩阵乘算子的运算速度，进而提高矩阵乘运算的运算效率。

在一个可选实施例中，对第一源操作数进行数据转换处理，得到第一转换结果，以及对第二源操作数进行数据转换处理，得到第二转换结果包括：获取第一转置标识的第一取值和第二转置标识的第二取值，其中，第一转置标识用于指示第一源操作数是否转置，第二转置标识用于指示第二源操作数是否转置；基于第一取值和第二取值，对第一源操作数进行数据转换处理，得到第一转换结果，以及对第二源操作数进行数据转换处理，得到第二转换结果。

在一个可选实施例中，基于第一取值和第二取值对第一源操作数进行数据转换处理，得到第一转换结果，以及对第二源操作数进行数据转换处理，得到第二转换结果包括：当第一取值表示第一源操作数不转置并且第二取值表示第二源操作数不转置时，调用第一转换方式对第一源操作数进行数据转换处理，得到第一转换结果，以及调用第二转换方式对第二源操作数进行数据转换处理，得到第二转换结果，其中，第一转换方式为第一源操作数从二维到三维的转换方式，第二转换方式为第二源操作数从二维到三维的转换方式。