[发明专利]一种通用的机器学习超参黑盒优化方法及系统

说明书

本发明提供了一种通用的机器学习超参黑盒优化方法及系统，涉及人工智能和自动机器学习领域。包括，超参优化客户端，用于提交优化请求；超参优化服务门户，用于接收客户端请求进行处理；学习引擎，用于对训练集进行模拟学习；超参推荐引擎，用于根据模拟学习结果进行超参推荐；效果评估组件，用于评估训练集各超参集合的效果及性能；优化算法配置组件，用于超参优化算法的配置；自动停止组件，用于停止无意义的训练集；超参优化控制面板，用于管理配置、调度监控等。本发明的有益效果为：实现黑盒优化，使用简单，降低机器学习调参的门槛；引入新算法时可以快速适配优化；高可用性和高扩展性；内置最先进的超参优化算法，适合大规模应用。

技术领域

本发明属于人工智能和自动机器学习领域，具体涉及一种通用的机器学习超参黑盒优化方法及系统。

背景技术

随着这几年新一波人工智能浪潮的到来，机器学习相关技术被应用到诸多行业和领域。调参是机器学习中非常重要的一个环节，机器学习模型应用的成功离不开好的调参。对于调参，目前行业大多做法是用人工的方式就行不断调整尝试，直至找到满意的参数为止。这种方式有诸多弊端，第一是耗费大量的人工成本，而且带有很大的主观性，可解释性低；第二是针对不同的算法，需要用不同的调参方法，特别是面对新算法时需要做大量的工作。

为了解决这些弊端，行业出现了自动化机器学习（AutoML）的技术，其中包括Hyperopt等方案，在一定程度上实现了自动调参的目标。当然，这些方案也存在一些缺点，例如伸缩性和灵活性比较低，部分方案都是以第三方库的形式提供服务，需要大量的手工代码和工程实施来进行模拟验证，无法实现真正意义上的完全自动调参。

发明内容

为了解决这些问题，在自动化机器学习的领域往前更进一步，实现通用的自动调参方案，用户无需关心优化器的具体实现，达到用户和优化器耦合度最低、灵活性和伸缩性最高的目的。本发明提供了一种通用的机器学习超参黑盒优化方法及系统。

本发明采用以下技术方案：

一种通用的机器学习超参黑盒优化方法及系统，包括：超参优化客户端、超参优化服务器端、超参优化服务门户、学习引擎、超参推荐引擎、效果评估组件、优化算法配置组件、自动停止组件、超参优化控制面板，其中：

所述超参优化客户端用于封装用户机器学习过程的相关资源（包括数据、模型、算法、参数等），并提交到超参优化服务器进行处理；

所述超参优化服务器端用于接收客户端的请求，进行超参优化工作，同时提供一些超参优化需要的配置项管理和模拟验证等功能；

所述超参优化服务门户用于集中接收客户端请求，根据客户端请求的类型，使用合适的服务组件进行处理并响应请求；

所述学习引擎用于对用户提交的资源进行模拟学习；

所述超参推荐引擎用于根据模拟学习的结果进行超参推荐；

所述效果评估组件用于对推荐的超参进行验证训练，评估其应用效果以及性能；

所述优化算法配置组件用于进行超参优化算法的配置；

所述自动停止组件用于对正在训练的机器学习过程进行自动停止；

所述超参优化控制面板用于管理包括客户端请求情况、参数模拟评估对比可视化、模拟学习情况等信息。

优选地，所述超参优化客户端还包括：用户将需要进行处理的请求进行封装，以一个机器学习超参优化为例，用户需要封装两部分信息：第一是这个机器学习的元信息，包括唯一性ID、名称、描述、创建人、创建时间、权限等；第二是该机器学习涉及的资源，包括：训练数据集、训练管道模型（可选）、算法类型（逻辑回归、分类等）、评估器（可选）、参数集合、参数选项（缩放比例等）。除了机器学习超参优化外，客户端还支持发送状态更新、参数推荐、添加衡量指标、结束优化、获取评估结果等请求。