[发明专利]一种基于异步贝叶斯优化的机器学习超参优化系统及方法

摘要

本发明涉及一种基于异步贝叶斯优化的机器学习超参优化系统及方法，包括：贝叶斯优化模块、模型参数池模型、Kmeans聚类模块、任务调度模块、自适应确定模型并行度模块；本发明对大数据环境下的机器学习高效的进行自动化调参，有效利用多机并行计算能力，高效的进行大数据机器学习自动化调参，从而使得人们在生产实践中可以更好地使用大数据机器学习。

主权项

1.一种基于异步贝叶斯优化的机器学习超参优化系统，其特征在于：包括，贝叶斯优化模块、模型参数池模型、Kmeans聚类模块、任务调度模块、自适应确定模型并行度模块；贝叶斯优化模块，实现贝叶斯优化算法，产生候选参数点；接收到模型参数池模块或者Kmeans聚类模块的信号后，访问模型参数池中模型参数点及对应模型评价指标，更新贝叶斯优化；提供get接口供模型参数池模块直接调用；针对多模型同时收敛的场景，提供GetBatch接口供Kmeans聚类模块调用；GetBatch接口实现如下算法：随机的产生L个参数点，L>10000，计算L个参数点对应的EI值，即收益函数值，找到l个EI值最大的参数点，从每个参数点开始执行梯度下降算法，找到局部最优点；l>200andl<1000；模型参数池模块，负责模型参数点的管理工作，具体的包括：获取模型超参数点、模型参数池中参数点替换、将模型参数池中的参数点提供给计算集群使用功能；模型参数池通过一个数组实现，将模型参数点抽象成参数点对象，提供Push和Pull接口供计算集群和模型参数池交互；模型参数池模块调用贝叶斯优化模块Get接口获取模型参数点，通过GetBatch接口从Kmeans聚类模块获取多组互异参数点；模型参数池模块中的参数点被计算集群Pull，接收计算集群Push的模型评价指标；Kmeans聚类模块，通过Kmeans聚类产生多个互异的参数点；被模型参数池模块调用，接收产生k个互异参数点的信号；调用贝叶斯优化模块产生多个原始候选参数点；通过Kmeans聚类将候选参数点聚成k类，然后选择k类中收益函数值最大的参数点，从而产生k个互异的参数点，将结果返回给模型参数池模块；K大于k；任务调度模块，判断模型参数池模块中的模型是否应该停止训练；具体包括：模型收敛性和Early Stopping算法；模型收敛性，计算模型精度是否达到提前设定的阈值，如果达到阈值，则收敛，否则，未收敛；Early Stopping算法实现为：首先计算历史已经训练模型对应当前迭代轮数的模型评价指标P的均值E(P)，如果当前模型评价指标p

下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。 免登录下载普通用户下载升级VIP会员，免费下载

该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国科学院软件研究所，未经中国科学院软件研究所许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】

本文链接：http://www.vipzhuanli.com/patent/201811588608.5/，转载请声明来源钻瓜专利网。