[发明专利]一种确定二分类模型的预测效果的方法及装置

说明书

本发明实施例公开了一种确定二分类模型的预测效果的方法及装置，其中方法包括：获取P个正样本数据和Q个负样本数据，并根据P个正样本数据和Q个负样本数据，得到M个二分类模型，针对于第i个二分类模型，使用第i个二分类模型对R个正样本数据和K个负样本数据进行预测，得到R+K个样本数据的预测分值，进而根据R+K个样本数据的预测分值中至少一个正样本数据的预测分值，确定第i个二分类模型的预测效果。本发明实施例提供了一种根据正样本数据的预测分值确定二分类模型的预测效果的方法，通过基于M个样本数据的预测效果衡量机器学习的质量，可以有效确定二分类模型的预测效果。

技术领域

本发明涉及数据处理领域，尤其涉及一种确定二分类模型的预测效果的方法及装置。

背景技术

在机器学习领域中，通常可以根据用户输入的样本数据训练得到多个模型，进而使用每个模型对待预测数据进行预测，并根据待预测数据对应的预测结果，确定待预测数据的类型。比如，以二分类模型为例，预测结果可以由标签“0”和标签“1”来表示，在使用二分类模型对待预测数据进行预测时，若待预测数据对应的预测结果大于或者等于预设阈值，则可以认为待预测数据为标签“1”对应的类型，相应地，若待预测数据对应的预测结果小于预设阈值，则可以认为待预测数据为标签“0”对应的类型。

在实际应用中，由于采用的训练方式不同，或者使用的样本数据不同，可能会使得训练得到的多个二分类模型的预测效果不同。若二分类模型的预测效果较好，则使用二分类模型对待预测数据进行预测得到的预测结果很可能与待预测数据的真实类型相同，若二分类模型的预测效果较差，则使用二分类模型对待预测数据进行预测得到的预测结果很可能与待预测数据的真实类型不同。由此可知，在使用二分类模型对待预测数据进行预测之前，确定训练得到的二分类模型的效果是非常重要的，然而，目前还未有一种比较完善地能够有效确定二分类模型的预测效果的方法。

综上，目前亟需一种确定二分类模型的预测效果的方法，用以有效确定二分类模型的预测效果。

发明内容

本发明实施例提供一种确定二分类模型的预测效果的方法，用以有效确定二分类模型的预测效果。

本发明实施例提供的一种确定二分类模型的预测效果的方法，所述方法包括：

获取P个正样本数据和Q个负样本数据，所述正样本数据为已知对目标对象感兴趣的用户的数据，所述负样本数据为未知是否对所述目标对象感兴趣的用户的数据；

根据所述P个正样本数据和所述Q个负样本数据，得到M个二分类模型；其中，所述M个二分类模型为同一类型的二分类模型，且所述M个二分类模型的模型参数互不相同；或者，所述M个二分类模型为不同类型的二分类模型；

获取验证数据，所述验证数据包括R个正样本数据和K个负样本数据；所述R个正样本数据中包括除所述P个正样本数据以外的正样本数据；

针对于第i个二分类模型，使用所述第i个二分类模型对所述验证数据进行预测，得到R+K个样本数据的预测分值；根据所述R+K个样本数据的预测分值中至少一个正样本数据的预测分值，确定所述第i个二分类模型的预测效果；

其中，P、Q、M、R、K均为正整数，i＝1,……,M。

可选地，所述根据所述R+K个样本数据的预测分值中至少一个正样本数据的预测分值，确定所述第i个二分类模型的预测效果，包括：

根据所述R+K个样本数据的预测分值，得到预测分值最大的W个预测分值；

根据所述W个预测分值中包括的正样本数据的预测分值的数量，确定所述第i个二分类模型的预测效果。

可选地，所述根据所述P个正样本数据和所述Q个负样本数据，得到M个二分类模型，包括：