[发明专利]面向机器学习任务的自动化编排、构建、执行方法及系统

权利要求书

1.一种面向机器学习任务的自动化编排、构建、执行方法，其特征在于，所述编排方法包括以下步骤：

步骤1：创建机器学习任务，包括任务名称和任务类型；所述任务类型包括分类、聚类或预测；

步骤2：根据任务类型，提供建议的数据集以及评价指标；

步骤3：根据选中的数据集以及评价指标提供建议的CPU数量、GPU数量，以及内存大小；

步骤4：生成可解析的标准化任务编排文件；

步骤5：检查任务编排文件合理性；

若合理，则执行下述步骤6；

若不合理，则回转执行上述步骤2；

步骤6：将机器学习任务状态设置为待处理。

2.根据权利要求1所述的面向机器学习任务的自动化编排、构建、执行方法，其特征在于：步骤5中，任务编排文件合理性的判定条件包括：数据集大小与内存大小满足预设要求；数据集类型与使用CPU、GPU情况，数据集类型包括图片数据集、文本数据集、视频数据集，其中文本数据集只允许使用CPU；图片数据集、视频数据集能同时使用CPU、GPU。

3.根据权利要求1所述的面向机器学习任务的自动化编排、构建、执行方法，其特征在于，所述构建方法包括以下步骤：

步骤7：获取状态为待处理的机器学习任务，同时将其状态修改为初始化中；

步骤8：读取任务的标准化任务编排文件，解析文件参数；

步骤9：判断是否正常解析；

若是，则执行下述步骤10；

若否，则将任务状态设置为异常，并回转执行步骤7；

步骤10：读取任务需要的CPU数量、GPU数量、内存数量，依据最佳适配原则以及负载均衡原则，选择合适的服务器作为执行节点；

步骤11：判断是否存在可用节点；

若是，则执行下述步骤12；

若否，则将任务状态设置为待处理，并回转执行步骤7；

步骤12：锁定执行节点的计算资源及存储资源，为任务创建单独的目录；

步骤13：将数据集发送到执行节点，并且解压到指定目录下面；

步骤14：使用远程文件拷贝命令将程序代码发送到执行节点，并且解压到指定目录下面，同时确定执行节点上有该程序代码的执行环境；

步骤15：检查执行环境是否具备；

若是，则执行下述步骤16；

若否，则将任务状态设置为待处理，并回转执行步骤7；

步骤16：初始化执行节点上的运行环境；

步骤17：将任务状态修改为已就绪。

4.根据权利要求3所述的面向机器学习任务的自动化编排、构建、执行方法，其特征在于，所述执行方法包括以下步骤：

步骤18：将机器学习任务状态修改为执行中；

步骤19：启动执行节点上的机器学习任务；

步骤20：同步实时监听任务处理过程中的输出的INFO级别以上的日志信息；

步骤21：根据日志模板解析日志信息；

步骤22：判断解析是否成功；

若是，则执行下述步骤23；

若否，则回转执行步骤20；

步骤23：获取任务状态的结构化数据；

步骤24：根据结构化数据更新任务执行进度或状态；

步骤25：判断任务是否执行结束；

若是，则执行下述步骤26；

若否，则回转执行步骤20；

步骤26：收集执行结果，更新任务状态为成功或失败；

步骤27：删除执行节点上的数据集、代码；

步骤28：释放执行节点的计算资源和存储资源；

步骤29：释放执行节点上的运行环境。