[发明专利]模型推理方法及装置、电子设备和存储介质

说明书

本公开涉及一种模型推理方法及装置、电子设备和存储介质，其中，所述方法包括：接收对可执行文件的运行指令，所述运行指令包括模型描述信息和模型输入数据；运行所述可执行文件，得到所述模型描述信息描述的神经网络模型对所述模型输入数据进行定点运算的运算结果；返回所述运算结果。本公开实施例有利于提高神经网络模型的开发效率。

技术领域

本公开涉及计算机技术领域，尤其涉及一种模型推理方法及装置、电子设备和存储介质。

背景技术

随着神经网络设计的日趋复杂，神经网络模型的运算会耗费部署端大量的计算资源。因此，为了减少神经网络对计算资源和的消耗，业界提出了针对神经网络模型的定点运算。然而，为了校验量化后的神经网络的性能，需要将量化后的神经网络模型部署到支持特定定点运算的硬件设备上进行推理和测试，大大降低神经网络模型的开发效率。

发明内容

本公开提出了一种模型推理技术方案。

根据本公开的一方面，提供了一种模型推理方法，包括：接收对可执行文件的运行指令，所述运行指令包括模型描述信息和模型输入数据；运行所述可执行文件，得到所述模型描述信息描述的神经网络模型对所述模型输入数据进行定点运算的运算结果；返回所述运算结果。

在一个或多个可选实施例中，所述可执行文件的运行包括：利用所述模型描述信息描述的神经网络模型对所述模型输入数据进行定点运算，得到所述运算结果。

在一个或多个可选实施例中，所述可执行文件的运行包括：基于所述模型描述信息，确定所述神经网络模型的拓扑结构信息；基于所述拓扑结构信息，确定所述神经网络模型的算子序列；基于所述算子序列中算子的排列顺序进行调度，得到所述运算结果。

在一个或多个可选实施例中，所述可执行文件的运行包括：对所述模型描述信息描述的神经网络模型中的第一算子的权重进行量化处理，得到量化权重；利用所述量化权重对所述第一算子的量化输入数据进行运算处理，得到所述第一算子的激活数据；将所述第一算子的激活数据进行定点化处理后作为紧邻所述第一算子的第二算子的量化输入数据。

在一个或多个可选实施例中，对所述神经网络模型中的第一算子的量化处理是在调度所述第一算子之后进行的。

在一个或多个可选实施例中，所述运行指令还包括量化配置信息，所述量化配置信息包括下列中的至少一种：量化精度、量化模式、量化参数。

在一个或多个可选实施例中，所述运行所述可执行文件，包括：基于所述运行指令，确定量化配置；基于所述量化配置，对所述模型输入数据和/或所述神经网络模型的权重数据进行量化处理。

在一个或多个可选实施例中，所述基于所述运行指令，确定量化配置信息，包括：在所述运行指令包含量化配置信息的情况下，基于所述运行指令包含的量化配置信息，确定量化配置；和/或在所述运行指令不包含所述量化配置信息的情况下，将所述默认配置作为所述量化配置。

在一个或多个可选实施例中，所述量化模式包括单通道量化模式和多通道量化模式。

在一个或多个可选实施例中，所述方法还包括：返回所述神经网络模型的量化配置和量化后的权重数据的至少一种。

在一个或多个可选实施例中，所述可执行文件的运行是通过CPU实现的；和/或所述可执行文件包括基于通用程序语言的程序代码。

根据本公开的一方面，提供了一种模型推理装置，包括：接收模块，用于接收对可执行文件的运行指令，所述运行指令包括模型描述信息和模型输入数据；处理模块，用于运行所述可执行文件，得到所述模型描述信息描述的神经网络模型对所述模型输入数据进行定点运算的运算结果；输出模块，用于返回所述运算结果。

在一个或多个可选实施例中，所述处理模块，具体用于利用所述模型描述信息描述的神经网络模型对所述模型输入数据进行定点运算，得到所述运算结果。