[发明专利]模型推理方法及装置、电子设备和存储介质

权利要求书

1.一种模型推理方法，其特征在于，包括：

接收对可执行文件的运行指令，所述运行指令包括模型描述信息和模型输入数据；

运行所述可执行文件，得到所述模型描述信息描述的神经网络模型对所述模型输入数据进行定点运算的运算结果；

返回所述运算结果。

2.根据权利要求1所述的方法，其特征在于，所述可执行文件的运行包括：

利用所述模型描述信息描述的神经网络模型对所述模型输入数据进行定点运算，得到所述运算结果。

3.根据权利要求1或2所述的方法，其特征在于，所述可执行文件的运行包括：

基于所述模型描述信息，确定所述神经网络模型的拓扑结构信息；

基于所述拓扑结构信息，确定所述神经网络模型的算子序列；

基于所述算子序列中算子的排列顺序进行调度，得到所述运算结果。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述可执行文件的运行包括：

对所述模型描述信息描述的神经网络模型中的第一算子的权重进行量化处理，得到量化权重；

利用所述量化权重对所述第一算子的量化输入数据进行运算处理，得到所述第一算子的激活数据；

将所述第一算子的激活数据进行定点化处理后作为紧邻所述第一算子的第二算子的量化输入数据。

5.根据权利要求2至4中任一项所述的方法，其特征在于，对所述神经网络模型中的第一算子的量化处理是在调度所述第一算子之后进行的。

6.根据权利要求1至5中任意一项所述的方法，其特征在于，所述运行指令还包括量化配置信息，所述量化配置信息包括下列中的至少一种：量化精度、量化模式、量化参数。

7.根据权利要求1至6中任意一项所述的方法，其特征在于，所述运行所述可执行文件，包括：

基于所述运行指令，确定量化配置；

基于所述量化配置，对所述模型输入数据和/或所述神经网络模型的权重数据进行量化处理。

8.根据权利要求7所述的方法，其特征在于，所述基于所述运行指令，确定量化配置信息，包括：

在所述运行指令包含量化配置信息的情况下，基于所述运行指令包含的量化配置信息，确定量化配置；和/或

在所述运行指令不包含所述量化配置信息的情况下，将默认配置作为所述量化配置。

9.根据权利要求6或8所述的方法，其特征在于，所述量化模式包括单通道量化模式和多通道量化模式。

10.根据权利要求1至9任意一项所述的方法，其特征在于，所述方法还包括：

返回所述神经网络模型的量化配置和量化后的权重数据的至少一种。

11.根据权利要求1至10任意一项所述的方法，其特征在于，所述可执行文件的运行是通过CPU实现的；和/或

所述可执行文件包括基于通用程序语言的程序代码。

12.一种模型推理装置，其特征在于，所述装置包括：

接收模块，用于接收对可执行文件的运行指令，所述运行指令包括模型描述信息和模型输入数据；

处理模块，用于运行所述可执行文件，得到所述模型描述信息描述的神经网络模型对所述模型输入数据进行定点运算的运算结果；

输出模块，用于返回所述运算结果。

13.根据权利要求12所述的装置，其特征在于，所述处理模块，具体用于利用所述模型描述信息描述的神经网络模型对所述模型输入数据进行定点运算，得到所述运算结果。