[发明专利]机器学习模型训练方法及装置

说明书

本发明公开了一种机器学习模型训练方法及装置；方法包括：确定训练集中样本的散度的差值，和/或所述训练集中样本的ROC；基于所述散度的差值和/或所述ROC，构造使用所述训练集训练的机器学习模型的损失函数；基于所述训练集迭代训练所述机器学习模型；比较相邻两次迭代训练所述机器学习模型后对应的损失函数的相对变化值；当所述损失函数的相对变化值小于指定值时，停止迭代训练所述机器学习模型。实施本发明，能够克服监督学习方式训练机器学习模型时样本不均衡带来的影响，提升机器学习模型的性能。

技术领域

本发明涉及通信领域的机器学习技术，尤其涉及一种机器学习模型训练方法及装置。

背景技术

机器学习(ML，Machine Learning)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能，在实际工业领域中不断获得应用，例如采用机器学习的方法训练对邮件进行分类的机器学习模型，对海量的邮件是否为垃圾邮件进行预测。

机器学习的类型包括：监督学习、无监督学习、半监督学习等。监督学习是指：利用不同类别的样本构成的训练集调整机器学习模型的参数，使机器学习模型达到所要求的分类性能。

在监督学习中，用于训练机器学习模型的样本的类别是已知的。例如，一个垃圾邮件过滤的机器学习模型的训练集，包含垃圾邮件以及常规邮件，在有监督的机器学习模型的训练过程中，训练集中的邮件是垃圾邮件或是正常邮件，机器学习模型对不同类别的邮件的特征进行学习，以使机器学习模型能对未知邮件进行分类的能力的过程称为训练机器学习模型。

监督学习经常会遇到不同类别的样本的数量不均衡的问题。例如训练用于识别垃圾邮件的机器学习模型时，垃圾邮件往往远远少于非垃圾邮件。

面对此类情况，相关技术采用多种方案解决样本不均衡的问题，但是训练得到的机器学习模型，仍然会把新增的部分或者全部未知样本的都预测为多数样本的类别也就是正常邮件，即使已知当前输入机器学习模型的邮件中多数为垃圾邮件，影响机器学习模型的精度。

发明内容

本发明实施例提供一种机器学习模型训练方法及装置，能够克服监督学习方式训练机器学习模型时样本不均衡带来的影响，提升机器学习模型的性能。

本发明实施例的方案是这样实现的：

第一方面，本发明实施例提供一种机器学习模型训练方法，所述方法包括：

确定训练集中样本的散度的差值，和/或所述训练集中样本的ROC；

基于所述散度的差值和/或所述ROC，构造使用所述训练集训练的机器学习模型的损失函数；

基于所述测试集迭代训练所述机器学习模型；

比较相邻两次迭代训练所述机器学习模型后对应的损失函数的相对变化值；

当损失函数的这个相对变化值小于指定值时，停止迭代训练所述机器学习模型。

第二方面，本发明实施例提供一种机器学习模型训练装置，所述装置包括：

确定单元，用于确定训练集中样本的散度的差值，和/或所述训练集中样本的ROC；

构造单元，用于基于所述散度的差值和/或所述ROC，构造使用所述训练集训练的机器学习模型的损失函数；

训练单元，用于基于所述训练集迭代训练所述机器学习模型；

比较单元，用于比较相邻两次迭代训练所述机器学习模型的损失函数的相对变化值；

所述训练单元，还用于当所述损失函数的相对变化值小于指定值时，停止迭代训练所述机器学习模型。