[发明专利]确定业务模型超参数的方法和装置有效
申请号: | 202010537635.0 | 申请日: | 2020-06-12 |
公开(公告)号: | CN111445025B | 公开(公告)日: | 2020-12-01 |
发明(设计)人: | 张雅淋 | 申请(专利权)人: | 支付宝(杭州)信息技术有限公司 |
主分类号: | G06N3/12 | 分类号: | G06N3/12;G06N20/00 |
代理公司: | 北京亿腾知识产权代理事务所(普通合伙) 11309 | 代理人: | 张静娟;周良玉 |
地址: | 310000 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 确定 业务 模型 参数 方法 装置 | ||
本说明书实施例提供了一种确定业务模型超参数的方法和装置,所述业务模型包括多个超参数,所述方法包括:获取多个超参数组合,每个所述超参数组合包括所述多个超参数各自的值;从预先准备的第一训练样本集中选取部分训练样本以构成第二训练样本集;使用所述第二训练样本集训练与所述多个超参数组合分别对应的业务模型,以获取多个低精度业务模型;测试各个低精度业务模型的性能分数,作为各个超参数组合的低精度分数;使用预先训练的拟合模型拟合各个超参数组合的高精度分数与低精度分数的差距;基于各个超参数组合的低精度分数、及拟合的高精度分数与低精度分数的差距,计算各个超参数组合的估计高精度分数。
技术领域
本说明书实施例涉及机器学习技术领域,更具体地,涉及一种确定业务模型超参数的方法和装置。
背景技术
在互联网的应用场景中,每天会有大量的业务数据需要分析,而机器学习作为一种技术手段,正在越来越多的场景中发挥着作用。对于给定的任务,建立并部署有效的模型通常包括两个主要的部分,其一是选择合适的模型,其二则是针对该模型选择合适的超参数,从而为模型的性能提供保障。
在当前的方案中,最基本且使用最为广泛的是两种搜索算法,即网格搜索(GridSearch)算法和随机搜索(RandomSearch)算法,在这两种算法中,在给定搜索范围内搜索较优的超参数。对上述搜索算法的改进算法包括遗传算法(Genetic Algorithm)或差分进化(Differential Evolution)算法,其中,遗传算法适用于离散的超参数,差分进化算法适用于连续的超参数。除此之外,贝叶斯优化算法基于高斯过程拟合历史超参数的“超参数-性能”曲线,从而去指导下一轮的超参数的选择。在上述各种超参数搜索算法中,为了比较各个超参数组合的优劣,通常使用全量训练样本进行模型的训练,从而基于该训练的模型进行超参数评估。因此,每一组超参数组合的验证都需要大量时间成本。而如果减少训练样本的数量以减少评估超参数的时间,基于少量训练样本获得的超参数评估结果有可能与大量训练样本下的超参数评估结果不同。
因此,需要一种更有效的确定业务模型的超参数的方案。
发明内容
本说明书实施例旨在提供一种更有效的确定业务模型的超参数的方案,以解决现有技术中的不足。
为实现上述目的,本说明书一个方面提供一种确定业务模型超参数的方法,所述业务模型包括多个超参数,所述方法包括:
获取多个超参数组合,每个所述超参数组合包括所述多个超参数各自的值;
从预先准备的第一训练样本集中选取部分训练样本以构成第二训练样本集,其中,所述训练样本与网络平台中的以下任一对象相关:用户、商户、商品、交易;
使用所述第二训练样本集训练与所述多个超参数组合分别对应的业务模型,以获取多个低精度业务模型;
测试各个低精度业务模型的性能分数,作为各个超参数组合的低精度分数;
使用预先训练的拟合模型拟合各个超参数组合的高精度分数与低精度分数的差距,其中,所述超参数组合的高精度分数为对应的高精度业务模型的性能分数,所述超参数组合对应的高精度业务模型为通过以所述第一训练样本集训练所述超参数组合对应的业务模型所获取的模型;
基于各个超参数组合的低精度分数、及拟合的高精度分数与低精度分数的差距,计算各个超参数组合的估计高精度分数。
在一种实施方式中,所述方法还包括,
在计算各个超参数组合的估计高精度分数之后,在当前不具有高精度分数的超参数组合中确定估计高精度分数最高的第一超参数组合;
以所述第一训练样本集训练所述第一超参数组合对应的业务模型,以获取高精度业务模型;
测试所述高精度业务模型的性能分数,作为所述第一超参数组合的高精度分数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于支付宝(杭州)信息技术有限公司,未经支付宝(杭州)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010537635.0/2.html,转载请声明来源钻瓜专利网。