[发明专利]一种基于知识蒸馏的模型自适应更新方法

权利要求书

1.一种基于知识蒸馏的模型自适应更新方法，其特征在于，该方法包括以下步骤：

（1）在时刻，基于初始数据和训练一个模型，其中，为时刻数据的特征，为时刻数据的标签；

（2）利用模型对预测，得到的预测软标签；

（3）基于、和训练一个神经网络模型，模型的输入为，标签为和，输出为，损失函数为：

其中，为神经网络模型中的参数，为调整损失函数中和权重的系数，基于模型预测的软标签的信息熵确定；为和之间的对数损失函数；为和之间的对数损失函数；

（4）在时刻到执行基于知识蒸馏的模型自适应更新，步骤如下：

a.在时刻，基于初始数据和训练一个模型；

b.利用模型对预测，得到的预测软标签；

c.基于、、和模型训练神经网络模型，模型的输入为，标签为和，输出为；利用模型的参数对模型的参数进行初始化，模型的参数在模型训练过程中保持不变；损失函数为：

其中，为神经网络模型中的参数；为调整损失函数中和权重的系数，基于模型预测的软标签的信息熵确定；为调整损失函数中权重的系数，基于数据集和的相似性确定；为和之间的对数损失函数；为和之间的对数损失函数；为模型参数相似性约束项，以模型和中所有参数的距离进行度量；

利用真实数据进行模型训练，得到模型参数，从而确定模型。

2.根据权利要求1所述的一种基于知识蒸馏的模型自适应更新方法，其特征在于，模型选用以下机器学习方法：神经网络、逻辑回归、支持向量机、决策树、随机森林。

3.根据权利要求1所述的一种基于知识蒸馏的模型自适应更新方法，其特征在于，所述步骤（3）中：

其中，为时刻的样本总量，为时刻第j个样本的预测软标签。

4.根据权利要求1所述的一种基于知识蒸馏的模型自适应更新方法，其特征在于，所述步骤（3）中：

其中，为时刻的样本总量，为时刻第j个样本的标签，为时刻第j个样本的预测软标签，为时刻第j个样本的神经网络模型预测输出。

5.根据权利要求1所述的一种基于知识蒸馏的模型自适应更新方法，其特征在于，所述步骤（4）中：

其中，为时刻的样本总量，为时刻第j个样本的预测软标签。

6.根据权利要求1所述的一种基于知识蒸馏的模型自适应更新方法，其特征在于，所述步骤（4）中：

其中，为数据集和之间的距离，为时刻的样本总量，为时刻的样本总量，分别为中的第p，q个样本，分别为中的第p，q个样本；函数用于计算两个样本间的距离。

7.根据权利要求6所述的一种基于知识蒸馏的模型自适应更新方法，其特征在于，函数用于计算两个样本间的距离，距离采用：曼哈顿距离、欧氏距离、切比雪夫距离、余弦距离。

8.根据权利要求1所述的一种基于知识蒸馏的模型自适应更新方法，其特征在于，所述步骤（4）中：

其中，为时刻的样本总量，为时刻第j个样本的标签，为时刻第j个样本的预测软标签，为时刻第j个样本的神经网络模型预测输出。

9.根据权利要求1所述的一种基于知识蒸馏的模型自适应更新方法，其特征在于，用于控制模型参数在训练过程中的更新幅度，以模型和中所有参数的距离进行度量，距离采用：曼哈顿距离、欧氏距离、切比雪夫距离、余弦距离。