[发明专利]分块方法及装置、卷积运算的方法及装置、存储介质

说明书

一种应用于矩阵乘法运算的分块方法、用于卷积运算的方法、应用于矩阵乘法运算的分块装置、用于卷积运算的装置和计算机可读存储介质。该分块方法应用于矩阵乘法运算，矩阵乘法运算用于实现第一矩阵和第二矩阵之间的乘法运算，分块方法包括：基于第一矩阵和第二矩阵，确定输入参数，其中，输入参数包括第一矩阵的维度参数、第二矩阵的维度参数、第一矩阵和第二矩阵每个中的每个数据的数据尺寸、第一矩阵对应的加载带宽、第二矩阵对应的加载带宽和输入缓存器的尺寸；基于输入参数，获得输出参数，其中，输出参数包括循环顺序以及与第一矩阵和第二矩阵对应的分块参数。

技术领域

本公开的实施例涉及一种应用于矩阵乘法运算的分块方法、用于卷积运算的方法、应用于矩阵乘法运算的分块装置、用于卷积运算的装置和计算机可读存储介质。

背景技术

神经网络(Neural Network，NN)作为人工智能(Artificial Intelligence，AI)领域的一类机器学习模型，近年来得到了很多关注。AI加速器是一类专门的硬件加速器或计算机系统，旨在加速人工智能，尤其是人工神经网络、机器视觉和机器学习等，的应用。AI加速器的典型应用包括机器人技术、物联网和其他数据密集型或传感器驱动任务的算法。目前，除了中央处理器(central processing unit，CPU)和图形处理器(graphicsprocessing unit，GPU)等通用处理器之外，开发了基于现场可编程逻辑阵列(FieldProgrammable Gate Array，FPGA)或专用集成电路(Application Specific IntegratedCircuit，ASIC)的AI加速器。基于FPGA的AI加速器具有更短的开发周期和灵活的可编程性，同时具备较高的计算并行度和相对适中的功耗；而基于ASIC的AI加速器需要付出高昂的开发时间和人力物力成本，但是可以最大程度地实现满足性能和功耗需求的定制化加速器。

发明内容

本公开至少一个实施例提供一种分块方法，应用于矩阵乘法运算，其中，所述矩阵乘法运算用于实现第一矩阵和第二矩阵之间的乘法运算，所述分块方法包括：基于所述第一矩阵和所述第二矩阵，确定输入参数，其中，所述输入参数包括所述第一矩阵的维度参数、所述第二矩阵的维度参数、所述第一矩阵和所述第二矩阵每个中的每个数据的数据尺寸、所述第一矩阵对应的加载带宽、所述第二矩阵对应的加载带宽和输入缓存器的尺寸；基于所述输入参数，获得输出参数，其中，所述输出参数包括循环顺序以及与所述第一矩阵和所述第二矩阵对应的分块参数。

例如，在本公开的实施例提供的分块方法中，所述第一矩阵的维度参数包括第一矩阵维数和第二矩阵维数，所述第二矩阵的维度参数包括所述第二矩阵维数和第三矩阵维数，所述分块参数包括与所述第一矩阵维数有关的第一维数外层分块参数、与所述第一维数外层分块参数有关的第一维数内层分块参数、与所述第二矩阵维数有关的第二维数分块参数、与所述第三矩阵维数有关的第三维数外层分块参数和与所述第三维数外层分块参数有关的第三维数内层分块参数，所述循环顺序用于指示所述第一维数外层分块参数、所述第一维数内层分块参数、所述第二维数分块参数、所述第三维数外层分块参数和所述第三维数内层分块参数的顺序。

例如，在本公开的实施例提供的分块方法中，所述输入缓存器包括用于缓存所述第一矩阵中的数据的第一输入缓存器和用于缓存所述第二矩阵中的数据的第二输入缓存器，所述输入缓存器的尺寸包括所述第一输入缓存器的尺寸和所述第二输入缓存器的尺寸，基于所述输入参数，获得输出参数，包括：基于所述第一矩阵的维度参数和所述数据尺寸，确定所述第一矩阵对应的第一矩阵尺寸；基于所述第二矩阵的维度参数和所述数据尺寸，确定所述第二矩阵对应的第二矩阵尺寸；比较所述第一矩阵尺寸和所述第一输入缓存器的尺寸并比较所述第二矩阵尺寸和所述第二输入缓存器的尺寸，以确定第一比较结果；基于所述第一比较结果，确定所述输出参数。