[发明专利]一种适用于华为昇腾芯片的高性能算子生成方法

说明书

本发明公开了一种适用于华为昇腾芯片的高性能算子生成方法。其中，该方法包括：在目标开发方式下，生成多个候选操作函数，其中，目标开发方式是基于昇腾人工智能处理器的张量加速引擎算子开发框架确定的张量迭代器内核开发方式；从多个候选操作函数选取待使用的目标操作函数；利用目标操作函数和目标操作数据执行目标操作，得到目标操作结果。本发明解决了相关技术中对于高性能算子的开发效率低下的技术问题。

技术领域

本申请涉及人工智能领域，具体而言，涉及一种适用于华为昇腾芯片的高性能算子生成方法。

背景技术

高性能算子是深度学习模型中涉及到的计算函数，常见的算子包括卷积、矩阵乘、修正线性单元(Rectified Linear Unit，ReLU)等。作为人工智能(ArtificialIntelligence， AI)计算框架的基本组成部分，高性能算子向下调用中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)、神经网络处理器(Neural-network Processing Unit，NPU)等AI芯片，向上为多种计算框架提供操作接口。高性能算子是充分发挥芯片计算潜力、提升训练和推理效率的重要基础。

相关技术中，昇腾技术栈提供了张量加速引擎(Tensor Boost Engine，TBE)算子开发框架，开发者可以选择使用领域特定语言(Domain-Specific Language，DSL)或张量迭代器内核(Tensor Iterator Kernel，TIK)开发方式进行算子开发。其中，DSL的灵活性差、性能差，但开发效率高；TIK的灵活性和性能高，但开发效率低并且开发工作量大，要求开发者熟悉底层硬件架构，并手动规划算子的调度。利用现有技术进行算子开发时，难以同时获得良好的算子性能和开发效率。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种适用于华为昇腾芯片的高性能算子生成方法，以至少解决相关技术中对于高性能算子的开发效率低下的技术问题。

根据本申请其中一实施例，提供了一种适用于华为昇腾芯片的高性能算子生成方法，包括：在目标开发方式下，生成多个候选操作函数，其中，目标开发方式是基于昇腾人工智能处理器的张量加速引擎算子开发框架确定的张量迭代器内核开发方式；从多个候选操作函数选取待使用的目标操作函数；利用目标操作函数和目标操作数据执行目标操作，得到目标操作结果。

可选地，从多个候选操作函数选取目标操作函数包括：从多个候选操作函数选取数据搬运函数。

可选地，利用目标操作函数和目标操作数据执行目标操作，得到目标操作结果包括：获取目标操作数据，其中，目标操作数据包括：第一源操作数、第一目的操作数和数据长度；利用数据搬运函数、第一源操作数、第一目的操作数和数据长度执行数据搬运操作，得到数据搬运结果。

可选地，利用数据搬运函数、第一源操作数、第一目的操作数和数据长度执行数据搬运操作，得到数据搬运结果包括：利用数据长度对第一源操作数进行分块处理，得到分块结果；当基于分块结果确定不存在尾块时，通过数据搬运函数和分块结果将第一源操作数搬运至第一目的操作数，得到数据搬运结果；当基于分块结果确定存在尾块时，按照第一源操作数与第一目的操作数的存储位置确定目标搬运方式，并通过数据搬运函数和目标搬运方式将第一源操作数搬运至第一目的操作数，得到数据搬运结果。

可选地，从多个候选操作函数选取目标操作函数包括：从多个候选操作函数选取精度向量计算函数。

可选地，利用目标操作函数和目标操作数据执行目标操作，得到目标操作结果包括：获取目标操作数据，其中，目标操作数据包括：第二源操作数、第二目的操作数和第一指令名称；利用精度向量计算函数、第二源操作数、第二目的操作数和第一指令名称执行精度向量计算操作，得到精度向量计算结果。