[发明专利]一种网络模型的优化方法、装置、设备及介质

权利要求书

1.一种网络模型的优化方法，其特征在于，包括：

获取第一网络模型；其中，所述第一网络模型是基于当前参数得到的；

将所述第一网络模型进行量化，得到量化后的第二网络模型；

确定所述第二网络模型的性能评估值，根据所述性能评估值对所述当前参数进行更新；

重复上述步骤，循环对当前参数进行更新直至达到收敛条件时，输出更新后的第二网络模型。

2.根据权利要求1所述的方法，其特征在于，所述第一网络模型为浮点型网络模型；所述第二网络模型为整数型网络模型。

3.根据权利要求1所述的方法，其特征在于，所述第一网络模型为经过知识蒸馏算法输出的学生深度神经网络；所述当前参数为蒸馏超参数。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

根据采用所述蒸馏超参数的知识蒸馏算法和预先训练好的教师网络模型，指导所述学生深度神经网络的训练，输出训练好的学生深度神经网络，并将所述训练好的学生深度神经网络作为所述第一网络模型。

5.根据权利要求1所述的方法，其特征在于，所述将所述第一网络模型进行量化，得到量化后的第二网络模型，包括

将所述第一网络模型存储为预设格式的第一网络模型，将所述预设格式的第一网络模型输入量化模块进行量化操作，得到整数型的第二网络模型。

6.根据权利要求1所述的方法，其特征在于，所述确定所述第二网络模型的性能评估值，包括：

根据预设的验证集多次运行所述第二网络模型，基于多次运行所述第二网络模型得到的结果确定性能评估值，所述性能评估值用于表征所述第二网络模型的精度。

7.根据权利要求1所述的方法，其特征在于，所述根据所述性能评估值对所述当前参数进行更新，包括：

根据所述性能评估值和超参数搜索算法进行反向传播，以更新得到新的当前超参数。

8.根据权利要求7所述的方法，其特征在于，所述收敛条件包括以下中的任意一项：

循环的执行次数达到预设的最大循环次数；

或者，循环的执行时间达到预设的最大执行时间；

或者，基于所述超参数搜索算法对第一网络模型的参数进行采样的数量达到预设最大采样数量；

或者，所述第二网络模型的性能评估值达到预设的性能评估阈值。

9.根据权利要求7所述的方法，其特征在于，当首次执行所述获取第一网络模型的步骤时，所述当前参数是基于所述超参数搜索算法，在超参数搜索范围内确定的随机数。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：若达到所述收敛条件，将更新后的第二网络模型进行模型部署。

11.一种网络模型的优化装置，其特征在于，包括：

获取模块，用于获取第一网络模型；其中，所述第一网络模型是基于当前参数得到的；

量化模块，用于将所述第一网络模型进行量化，得到量化后的第二网络模型；

更新模块，用于确定所述第二网络模型的性能评估值，根据所述性能评估值对所述当前参数进行更新；

判断模块，用于判断是否达到收敛条件；若未达到收敛条件，将更新后的当前参数输入至所述获取模块，重复所述获取模块、所述量化模块和所述更新模块执行的步骤；若达到收敛条件，将对应的更新后的第二网络模型输入至输出模块；

所述输出模块，用于输出更新后的第二网络模型。

12.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-10中任一所述的网络模型的优化方法。

13.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，当所述计算机程序被计算设备执行时，使所述计算机设备实现上述权利要求1-10中任一所述的网络模型的优化方法。