[发明专利]一种网络模型的优化方法、装置、设备及介质

说明书

本公开实施例涉及一种网络模型的优化方法、装置、设备及介质，其中该方法包括：获取第一网络模型；其中，第一网络模型是基于当前参数得到的；将第一网络模型进行量化，得到量化后的第二网络模型；确定第二网络模型的性能评估值，根据性能评估值对当前参数进行更新；重复上述步骤，循环对当前参数进行更新直至达到收敛条件时，输出更新后的第二网络模型。本公开能够有效保证最终输出的整数型的第二网络模型具有最佳性能。

技术领域

本公开涉及图像处理技术领域，尤其涉及一种网络模型的优化方法、装置、设备及介质。

背景技术

在使用机器学习来完成图像分类、图像检测、关键点检测等任务时，需要先构建神经网络模型。针对构建的神经网络模型，通常使用的精度都是32位或64位单精度浮点数，在网络模型规模较大的时候，需要的内存资源非常巨大。为了得到更有效率的模型，以及使模型能够在移动设备或低功耗设备上部署与使用，目前的传统方式是先通过迭代优化获取性能最佳的浮点型模型，然后再对该最佳的浮点型模型进行量化，量化后的整数型模型以低比特形式进行推理和存储，将量化后的整数模型在移动设备或低功耗设备上部署与使用。

目前都是采用浮点型模型的精度来评估量化后整数型模型的性能，然而在实际应用中发现，性能最佳的浮点型模型并不一定对应着性能最佳的整数型模型。模型量化会给浮点型模型带来不同程度的性能损失，导致在实际部署环节，量化后的整数型模型的性能降低，无法体现出浮点型模型的高性能。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种网络模型的优化方法、装置、设备及介质。

本公开实施例提供了一种网络模型的优化方法，包括：

获取第一网络模型；其中，所述第一网络模型是基于当前参数得到的；将所述第一网络模型进行量化，得到量化后的第二网络模型；确定所述第二网络模型的性能评估值，根据所述性能评估值对所述当前参数进行更新；

重复上述步骤，循环对当前参数进行更新直至达到收敛条件时，输出更新后的第二网络模型。

可选的，所述第一网络模型为浮点型网络模型；所述第二网络模型为整数型网络模型。

可选的，所述第一网络模型为经过知识蒸馏算法输出的学生深度神经网络；所述当前参数为蒸馏超参数。

可选的，所述方法还包括：根据采用所述蒸馏超参数的知识蒸馏算法和预先训练好的教师网络模型，指导所述学生深度神经网络的训练，输出训练好的学生深度神经网络，并将所述训练好的学生深度神经网络作为所述第一网络模型。

可选的，所述将所述第一网络模型进行量化，得到量化后的第二网络模型，包括

将所述第一网络模型存储为预设格式的第一网络模型，将所述预设格式的第一网络模型输入量化模块进行量化操作，得到整数型的第二网络模型。

可选的，所述确定所述第二网络模型的性能评估值，包括：

根据预设的验证集多次运行所述第二网络模型，基于多次运行所述第二网络模型得到的结果确定性能评估值，所述性能评估值用于表征所述第二网络模型的精度。

可选的，所述根据所述性能评估值对所述当前参数进行更新，包括：根据所述性能评估值和超参数搜索算法进行反向传播，以更新得到新的当前超参数。

可选的，所述收敛条件包括以下中的任意一项：

循环的执行次数达到预设的最大循环次数；或者，循环的执行时间达到预设的最大执行时间；或者，基于所述超参数搜索算法对第一网络模型的参数进行采样的数量达到预设最大采样数量；或者，所述第二网络模型的性能评估值达到预设的性能评估阈值。

可选的，当首次执行所述获取第一网络模型的步骤时，所述当前参数是基于所述超参数搜索算法，在超参数搜索范围内确定的随机数。