[发明专利]一种筛选机器学习模型的方法及装置

说明书

本发明实施例公开了一种筛选机器学习模型的方法及装置，方法包括：通过第一数据集构建多组第一使用集，针对每个待筛选模型，确定待筛选模型在每组第一使用集下的验证结果，根据各组第一使用集下的验证结果确定待筛选模型在第一数据集下的第一验证结果，根据各待筛选模型在第一数据集下的第一验证结果，将第一验证结果大于第一设定阈值的待筛选模型作为目标模型。本发明通过利用历史参数组合和其对应的模型表现数值等历史信息来探索更有可能提高模型表现能力的参数组合，模型筛选过程中无需遍历所有可能的参数组合，提高了模型筛选的效率。

技术领域

本发明涉及人工智能领域，尤其涉及一种筛选机器学习模型的方法及装置。

背景技术

如今机器学习模型根据模型复杂程度的不同，需要筛选的参数数量也不尽相同。简单如逻辑回归，需要筛选的通常只有正则项系数C。机器学习模型与传统模型相比，前者拥有大量的参数，而这些参数决定了模型对于数据的学习能力。为了使机器学习模型更好地学习数据从而发挥其最大效力，需要从机器学习模型参数的可选取值空间中选取最优的参数或参数组合，从而最终将其带入模型中构造最终用于预测的模型。参数越多，筛选的难度自然也越来越大，因为参数间排列组合的可能性越来越多。然而参数就好像是模型的阀门一样，控制着模型的好坏，模型筛选的前提就是找到使得模型能够得到最佳模型表现的最佳参数，最后根据使用最佳参数的模型的最终表现确定最终用于预测的模型从而达到筛选模型的目的。

现有方案需要从用户提供的参数选择范围内生成备选参数组合，最佳参数需在用户提供的参数选择范围内方能更好地发挥模型筛选的能力，对操作者有一定的技术要求，同时还需要生成所有可能的参数组合，并计算每组参数组合所对应的模型表现，也即遍历所有的参数组合可能性使得执行效率低，此外，当前技术中用于评估模型的验证数据由随机抽取的方式生成，对输出的模型评估结果注入了不确定性，将影响模型评估结果。

发明内容

本发明实施例提供一种筛选机器学习模型的方法及装置，用以解决如何高效准确的筛选模型的问题。

第一方面，本发明实施例提供一种筛选机器学习模型的方法，包括：

通过第一数据集构建多组第一使用集，其中，各组第一使用集对应的验证集均不同且各组第一使用集对应的训练集均不同；

针对每个待筛选模型，确定所述待筛选模型在每组第一使用集下的验证结果；根据各组第一使用集下的验证结果确定所述待筛选模型在所述第一数据集下的第一验证结果；其中，所述第一使用集下的验证结果是所述待筛选模型经所述第一使用集下的训练集训练后使用所述第一使用集下的验证集验证的结果；

根据各待筛选模型在所述第一数据集下的第一验证结果，将第一验证结果大于第一设定阈值的待筛选模型作为目标模型；

其中，所述确定所述待筛选模型在每组第一使用集下的验证结果，通过如下方式得到：

在第二数据集下按照所述待筛选模型的参数组中已训练的参数组和已训练的参数组的验证结果，从所述待筛选模型的参数组中尚未训练的参数组中确定下一训练使用的参数组，直至确定出所述待筛选模型在所述第二数据集下的第一目标参数组；根据所述待筛选模型及所述第一目标参数组，确定所述待筛选模型在所述第一使用集下的验证结果；所述第二数据集与所述第一数据集不同。

上述方案，通过利用历史参数组合和其对应的模型表现数值等历史信息来探索更有可能提高模型表现能力的参数组合，模型筛选过程中无需遍历所有可能的参数组合，提高了模型筛选的效率。

可选的，在所述将第一验证结果大于第一设定阈值的待筛选模型作为目标模型之后，还包括：

根据所述目标模型在所述第二数据集下的已训练的参数组，从所述目标模型的参数组中确定出再训练的参数组；