[发明专利]一种神经网络的编译方法及装置

说明书

本申请适用于人工智能技术领域，提供了一种神经网络的编译方法及装置，方法包括：根据神经网络的第一模型文件，得到第一模型；根据算子的计算精度和/或芯片的电路结构，将第一模型中的多个算子进行融合与拆分，得到第二模型，每个算子用于表征神经网络中的一个独立计算单元；根据预设的算子合并模式，对第二模型中的算子进行匹配，得到第三模型；根据第三模型中的每个算子的量化操作，在第三模型中写入每个算子的量化参数，得到第四模型；对第四模型进行编译，得到神经网络的第二模型文件，第二模型文件用于在芯片中执行。从而，可实现多个算子的联合优化，提高神经网络模型在芯片上的响应速度，降低算子的计算时间，提高算子的执行效率。

技术领域

本申请属于人工智能技术领域，尤其涉及一种神经网络的编译方法及装置。

背景技术

随着神经网络在人工智能领域的广泛应用，神经网络编译器可对神经网络的模型文件进行量化和编译，并将量化和编译后的神经网络的模型文件部署到芯片中，使得神经网络能够在芯片中正常运用。

目前，通常采用神经网络编译器中的TVM(tensor virtual machine)编译器对神经网络的模型文件进行量化和编译。如图1所示，该量化和编译过程包括：TVM编译器根据一个经过训练的神经网络的模型文件，得到TVM模型，该TVM模型包括多个算子。TVM编译器通过自带的量化工具，在TVM模型中的每个算子的前后位置均插入一个空节点。TVM编译器分析每个空节点应该执行的量化操作以及获取该空节点的量化参数，并将量化操作和量化参数写入对应的空节点，得到量化后的TVM模型。TVM编译器对量化后的TVM模型进行编译，得到可在芯片上执行的TVM模型文件。

然而，上述量化和编译的过程中，需要在TVM模型的每个算子的前后位置均插入空节点，针对于每个算子分别进行量化，导致多个算子的量化过程复杂，多个算子的计算精度较低，计算时间较长。

发明内容

本申请实施例提供了一种神经网络的编译方法及装置，可以解决多个算子的量化过程复杂，多个算子的计算精度较低，计算时间较长的问题。

第一方面，本申请实施例提供了一种神经网络的编译方法，该方法包括：

根据神经网络的第一模型文件，得到第一模型；

根据算子的计算精度和/或芯片的电路结构，将第一模型中的多个算子进行融合与拆分，得到第二模型，每个算子用于表征神经网络中的一个独立计算单元；

根据预设的算子合并模式，对第二模型中的算子进行匹配，得到第三模型；

根据第三模型中的每个算子的量化操作，在第三模型中写入每个算子的量化参数，得到第四模型；

对第四模型进行编译，得到神经网络的第二模型文件，第二模型文件用于在芯片中执行。

在一种可能的实现方式中，在第一模型包括第一算子和第二算子，第一算子包括多种计算方式时，根据算子的计算精度和/或芯片的电路结构，将第一模型中的多个算子进行融合与拆分，包括：

根据算子的计算精度，将第一算子中的部分计算方式对应的信息移动到所述第二算子中。

在一种可能的实现方式中，在第一模型包括第三算子和第四算子时，根据算子的计算精度和/或芯片的电路结构，将第一模型中的多个算子进行融合与拆分，包括：

根据算子的计算精度，更改第三算子和所述第四算子在第一模型中的计算顺序。

在一种可能的实现方式中，在第一模型包括第五算子，第五算子包括多种计算方式时，根据算子的计算精度和/或芯片的电路结构，将第一模型中的多个算子进行融合与拆分，包括：

根据算子的计算精度，将第五算子拆分成第六算子和第七算子，第六算子或第七算子包括第五算子中的部分计算方式对应的信息。