[发明专利]一种基于知识蒸馏的模型自适应更新方法

说明书

本发明公开了一种基于知识蒸馏的模型自适应更新方法，本发明采用模型自适应更新方法，代替模型重训练过程，减少了计算资源和人力资源的投入；采用模型参数相似性约束，提炼旧模型中的知识，避免了模型更新中的灾难性遗忘现象，保持预测模型的稳定性；利用知识蒸馏的思想，构建实时预测的神经网络模型，使预测模型适应数据分布的变化，保证预测模型的可塑性，实现模型自适应更新中稳定性和可塑性的最佳权衡。相较于在线维护模型池，对新数据同时预测的方法，大大减少了模型实时预测需要的计算资源和内存资源。相较于直接利用新数据增量更新模型的方法，有效解决了模型更新中的灾难性遗忘现象。

技术领域

本发明属于机器学习技术领域，具体地，涉及一种基于知识蒸馏的模型自适应更新方法。

背景技术

基于机器学习的数据自动预测方法的一个假设是：模型的训练数据和测试数据来自于同一个总体分布。然而，随着时间的推移，数据分布会发生变化。数据分布的变化可以进一步分为样本的变化和类别的变化。所谓样本的变化，是指样本在特征同构空间下的特征值的变化，以及每一类样本所占比例的可能变化。类别的变化是指新的类别的出现，即原来的分类发生了变化。所以，一段时间后，基于历史数据训练的模型可能不适用于一些新的数据。因此，有必要面向自动化预测系统的实际应用，实现模型的自适应更新，以保证不断变化的数据能够被正确预测。常用的模型自适应更新方法有模型重训练、不同时间窗口的模型集成和增量学习三种。

模型重训练需要消耗大量的计算资源和建模时间。不同时间窗口的模型集成需要维护一个模型池，对新数据同时进行打分，会消耗大量的计算资源。增量学习方法则存在灾难性遗忘现象，即随着时间的推移，模型使用最新的数据进行更新，新获得的数据往往会抹去之前学习到的模式；增量学习方法需要具备从新数据中持续学习的能力，同时保留以前学到的知识，是模型自适应更新中的稳定性-可塑性困境。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于知识蒸馏的模型自适应更新方法。

本发明的目的是通过以下技术方案来实现的：一种基于知识蒸馏的模型自适应更新方法，该方法包括以下步骤：

（1）在时刻，基于初始数据和训练一个模型，其中，为时刻数据的特征，为时刻数据的标签；

（2）利用模型对预测，得到的预测软标签；

（3）基于、和训练一个神经网络模型，模型的输入为，标签为和，输出为，损失函数为：

其中，为神经网络模型中的参数，为调整损失函数中和权重的系数，基于模型预测的软标签的信息熵确定；为和之间的对数损失函数；为和之间的对数损失函数；

（4）在时刻到执行基于知识蒸馏的模型自适应更新，步骤如下：

a.在时刻，基于初始数据和训练一个模型；

b.利用模型对预测，得到的预测软标签；

c.基于、、和模型训练神经网络模型，模型的输入为，标签为和，输出为；利用模型的参数对模型的参数进行初始化，模型的参数在模型训练过程中保持不变；损失函数为：

其中，为神经网络模型中的参数；为调整损失函数中和权重的系数，基于模型预测的软标签的信息熵确定；为调整损失函数中权重的系数，基于数据集和的相似性确定；为和之间的对数损失函数；为和之间的对数损失函数；为模型参数相似性约束项，以模型和中所有参数的距离进行度量；

利用真实数据进行模型训练，得到模型参数，从而确定模型。

进一步地，模型选用以下机器学习方法：神经网络、逻辑回归、支持向量机、决策树、随机森林。

进一步地，所述步骤（3）中：

其中，为时刻的样本总量，为时刻第j个样本的预测软标签。

进一步地，所述步骤（3）中：