[发明专利]模型量化方法、装置、设备、计算机程序及存储介质

说明书

本公开实施例公开了一种模型量化方法、装置、设备、计算机程序及存储介质，能够提高模型量化的精度与量化模型部署的广泛性。方法包括：利用待量化的初始模型进行模型推理，得到初始数据集合；基于目标部署平台的量化模式，对初始模型进行模拟量化，得到量化数据集合；模拟量化用于对初始模型中每个网络层输出的激活值进行量化与还原后进入下一层网络层进行推理；基于初始数据集合与量化数据集合，计算量化误差集合；并基于量化误差集合对初始模型进行调整，得到量化模型；基于每个网络层模拟量化后的激活值的截断值，生成量化参数；量化参数用于将量化模型部署至目标部署平台。

技术领域

本公开涉及人工智能领域，尤其涉及一种模型量化方法、装置、设备、计算机程序及存储介质。

背景技术

目前，在神经网络模型如深度学习模型的部署应用过程中，通常会通过模型量化，来显著减小模型的体积大小，缩短模型的运行时间，提高算法效率。然而，模型在量化过程中会遇到许多挑战，首先，模型量化，如从浮点量化到8bit整型往往会带来精度上的损失，相关技术通常会通过混合精度的方法来减少精度的损失或降低，对精度的提升非常有限。其次，目前的模型量化工具是面向目标部署平台的软/硬件配置来进行模型量化的，从而降低了量化模型在其他平台上应用的广泛性。

发明内容

本公开实施例期望提供一种模型量化方法、装置、设备、计算机程序及存储介质，能够提高模型量化的精度与量化模型部署的广泛性。

本公开的技术方案是这样实现的：

本公开实施例提供了一种模型量化方法，包括：

利用待量化的初始模型进行模型推理，得到初始数据集合；所述初始数据集合包含所述初始模型中每个网络层输出的激活值的截断值；

基于目标部署平台的量化模式，对所述初始模型进行模拟量化，得到量化数据集合；所述模拟量化用于对所述初始模型中每个网络层输出的激活值进行量化与还原后进入下一层网络层进行推理，所述量化数据集合包含所述每个网络层模拟量化后的激活值的截断值；

基于所述初始数据集合与所述量化数据集合，计算量化误差集合；并基于所述量化误差集合对所述初始模型进行调整，得到量化模型；

基于所述每个网络层模拟量化后的激活值的截断值，生成量化参数；所述量化参数用于将所述量化模型部署至所述目标部署平台。

本公开实施例提供了一种模型量化装置，包括：

推理模块，用于利用待量化的初始模型进行模型推理，得到初始数据集合；所述初始数据集合包含所述初始模型中每个网络层输出的激活值的截断值；

模拟量化模块，用于基于目标部署平台的量化模式，对所述初始模型进行模拟量化，得到量化数据集合；所述模拟量化用于对所述初始模型中每个网络层输出的激活值进行量化与还原后进入下一层网络层进行推理，所述量化数据集合包含所述每个网络层模拟量化后的激活值的截断值；

误差调整模块，用于基于所述初始数据集合与所述量化数据集合，计算量化误差集合；并基于所述量化误差集合对所述初始模型进行调整，得到量化模型；

参数生成模块，用于基于所述每个网络层模拟量化后的激活值的截断值，生成量化参数；所述量化参数用于将所述量化模型部署至所述目标部署平台。

上述装置中，所述推理模块，还用于获取量化校准数据；通过所述初始模型中的每个网络层，对所述量化校准数据进行模型推理，得到所述每个网络层输出的至少一个激活值；对于所述每个网络层的至少一个激活值，利用至少一种预设统计算法进行统计截断处理，得到所述每个网络层对应的激活值的截断值，作为所述初始数据集合。

上述装置中，所述每个网络层对应的激活值的截断值，包括以下任意一种：