[发明专利]整数量化模型存储方法、任务处理方法、装置和设备

说明书

本公开的实施例公开了整数量化模型存储方法、任务处理方法、装置和设备。该方法的一具体实施方式包括：确定目标神经网络的网络结构中的、模型量化噪声满足预设条件的非线性算子集；对于非线性算子集中的每个非线性算子，执行算子替换步骤：利用范围求取算子，确定非线性算子的算子范围；利用替换多项式求取算子，根据算子范围，生成至少一个多项式替换公式的多项式系数，得到至少一个多项式替换公式，作为替换算子，将非线性算子替换为替换算子；对算子替换后的目标神经网络进行整数量化处理，得到量化模型；对量化模型进行模型存储。该实施方式提高了模型的执行速度以及执行效率。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及整数量化模型存储方法、任务处理方法、装置和设备。

背景技术

随着深度学习的发展，神经网络被广泛应用于各种领域，但随着模型性能的提高，同时也引入了巨大的参数量和计算量。模型量化是一种将浮点计算转成低比特定点计算的技术，其可以有效地降低模型计算强度、参数量和内存消耗。在进行模型量化时，通常采用的方式为：响应于确定模型中存在模型量化噪声较大的非线性算子，在中央处理器(CPU，Central Processing Unit)中运行针对非线性算子的算子运算，等待运行完毕，利用整数量化加速装置来加速执行模型其余算子的算子逻辑。

然而，发明人发现，当采用上述方式来进行模型量化时，经常会存在如下技术问题：

数据反复在CPU和整数量化加速装置之间交换拷贝，间接导致模型的执行速度下降，使得执行效率降低。

该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解，并因此，其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开的一些实施例提出了整数量化模型存储方法、任务处理方法、装置和设备，来解决以上背景技术部分提到的技术问题。

第一方面，本公开的一些实施例提供了一种整数量化模型存储方法，包括：确定目标神经网络的网络结构中的、模型量化噪声满足预设条件的非线性算子集；对于上述非线性算子集中的每个非线性算子，执行算子替换步骤：利用范围求取算子，确定上述非线性算子的算子范围；利用替换多项式求取算子，根据上述算子范围，生成至少一个多项式替换公式的多项式系数，得到至少一个多项式替换公式，作为替换算子，其中，多项式替换公式包括：多个乘法加法算子，多项式系数为多个乘法加法算子的系数；将上述非线性算子替换为上述替换算子；对算子替换后的目标神经网络进行整数量化处理，得到量化模型；对上述量化模型进行模型存储。

第二方面，本公开的一些实施例提供了一种整数量化模型存储装置，包括：确定单元，被配置成确定目标神经网络的网络结构中的、模型量化噪声满足预设条件的非线性算子集；执行单元，被配置成对于上述非线性算子集中的每个非线性算子，执行算子替换步骤：利用范围求取算子，确定上述非线性算子的算子范围；利用替换多项式求取算子，根据上述算子范围，生成至少一个多项式替换公式的多项式系数，得到至少一个多项式替换公式，作为替换算子，其中，多项式替换公式包括：多个乘法加法算子，多项式系数为多个乘法加法算子的系数；将上述非线性算子替换为上述替换算子；量化处理单元，被配置成对算子替换后的目标神经网络进行整数量化处理，得到量化模型；存储单元，被配置成对上述量化模型进行模型存储。