[发明专利]面向机器学习任务的自动化编排、构建、执行方法及系统

说明书

本发明公开了一种面向机器学习任务的自动化编排、构建、执行方法及系统，本发明构建了基于机器学习任务的自动化编排系统，基于用户输入确定任务参数，生成机器学习任务标准化编排文件。设计了基于任务编排文件的任务自动化构建系统，解析出任务的数据集大小、算法模型、评价指标，选择合适的任务模板，结合任务代码，构建可执行的机器学习任务。本发明根据可执行的机器学习任务参数，将任务调度到服务器集群进行处理，同时同步监听任务处理过程，直到任务最终执行成功或失败，收集执行结果。本发明解决了海量机器学习任务难以管理的问题，提高了机器学习任务执行效率，提高了结果数据准确性，降低了人为因素干扰，降低了人力成本。

技术领域

本发明属于信息技术领域，涉及一种面向机器学习任务的自动化编排、构建、执行方法及系统，具体涉及一种通过构造自动化系统，解决机器学习任务的自动化编排、构建、执行问题，提高海量机器学习任务执行效率，降低人工成本。

背景技术

一个完整的机器学习任务大致包括机器任务编排、构建、调度执行以及获取结果多个步骤。通常情况下，开发者需要逐一手动执行每个步骤来完成一个机器学习任务。然而随着互联网发展，数据量呈爆炸式增长，开发者很难高效、准确、完整的执行大量的机器学习任务，从而带来工作量巨大，任务执行效率低下，结果数据不准确等问题。

目前还没有专业的基于机器学习任务的自动化编排、构建、执行系统。当前，机器学习任务基本都是由开发者创建任务，然后提交到服务器执行，最后回收执行结果。目前，有的系统支持服务器集群的管理，有的系统支持机器学习任务的管理，但是没有任何系统支持机器学习任务整个完整生命周期的管理。

发明内容

本发明目的在于提出一种面向机器学习任务的自动化编排、构建、执行方法及系统，以解决海量机器学习任务难以管理的问题，构建流水线化、并行执行系统，提高机器学习任务执行效率，提高结果数据准确性，降低人为因素干扰，降低人力成本。

本发明的方法所采用的技术方案是：一种面向机器学习任务的自动化编排、构建、执行方法，所述编排方法包括以下步骤：

步骤1：创建机器学习任务，包括任务名称和任务类型；所述任务类型包括分类、聚类或预测；

步骤2：根据任务类型，提供建议的数据集以及评价指标；

步骤3：根据选中的数据集以及评价指标提供建议的CPU数量、GPU数量，以及内存大小；

步骤4：生成可解析的标准化任务编排文件；

步骤5：检查任务编排文件合理性；

若合理，则执行下述步骤6；

若不合理，则回转执行上述步骤2；

步骤6：将机器学习任务状态设置为待处理。

本发明还提供了一种面向机器学习任务的自动化编排、构建、执行方法，所述构建方法包括以下步骤：

步骤7：调度器获取状态为待处理的机器学习任务，同时将其状态修改为初始化中；

步骤8：读取任务的标准化任务编排文件，解析文件参数；

步骤9：判断是否正常解析；

若是，则执行下述步骤10；

若否，则将任务状态设置为异常，并回转执行步骤7；

步骤10：读取任务需要的CPU数量、GPU数量、内存数量，依据最佳适配原则以及负载均衡原则，选择合适的服务器作为执行节点；

步骤11：判断是否存在可用节点；

若是，则执行下述步骤12；

若否，则将任务状态设置为待处理，并回转执行步骤7；