[发明专利]一种可拖拽式机器学习工作流组件调度方法

说明书

本发明公开了一种可拖拽式机器学习工作流组件调度方法，包括以下步骤：S1、设计与组件类别相对应的组件配置模版，配置模版中除伪节点Base以外，其他节点与机器学习建模所需的任务一一对应；S2、获取当前机器学习工作流所包含的机器学习建模所需的任务及任务顺序，并将该任务顺序和配置模版作为参数一起传入；S3、根据任务顺序动态加载配置模版参数，执行机器学习工作流。本发明可拖拽式机器学习工作流设计思路，工作流组件化，能快速复用，做到可以通过Web前端页面拖拽、代码层和命令行的方式分别实现机器学习工作流任务的创建。

技术领域

本发明涉及机器学习工作流技术领域，具体为一种可拖拽式机器学习工作流组件调度方法。

背景技术

近年来，随着计算机应用技术的高速发展，人工智能、大数据、云计算已成为IT领域关注的焦点。作为使计算机具有“智能”的机器学习(MachineLearning，ML)算法在目标识别、目标检测等任务上都取得了显著的成果，并成功应用于金融交易、商品推荐、交通预测等领域。在使用机器学习算法训练模型时，为了避免原始数据收集、数据清洗、缺失值处理、特征提取、样本生成及模型评估等流程占用过多的时间，通常需要针对实际业务场景构建机器学习工作流。

现有的机器学习算法大多都是从代码层进行构建和测试的，通常要经过环境配置、算法流程设计、数据接口设计、程序编写、程序调试等工序，最后才可以部署服务。对于上游的数据源和下游的服务应用，每次都要等算法服务部署好之后才可以将这三者打通，这成为了自动化运行的瓶颈。此外，对于机器学习领域的初级开发人员或业务层的数据分析人员，进行代码层算法的开发与测试存在一定的难度，门槛过高。

目前，机器学习工作流构建方法大多以强调调度方法和调度系统为主，而对于一个易用的机器学习工作流的构建应该不止于此。因此，结合具体实际业务需求，提出一种工作流构建新的形式。具体的，将机器学习工作流以Python第三方包的标准形式进行交付，支持后续的功能更新和版本迭代；支持独立运行，同时也可配合Web前端界面采用拖拽式运行；独立运行时通过友好的命令行界面进行交互。

现有的机器学习工作流调度方法和系统虽然将原始数据收集、数据清洗、缺失值处理、特征提取、样本生成等模块组件化，便于集成和节省时间，但，这样的构建思路是有弊端的。这种机器学习工作流构建思路与通过代码层进行构建和测试机器学习算法的方式对立了起来，其对应的工作流调度方法也被局限住了，无法适应基于代码层构建的方式。为此，我们提出一种可拖拽式机器学习工作流组件调度方法。

发明内容

本发明的目的在于提供一种可拖拽式机器学习工作流组件调度方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种可拖拽式机器学习工作流组件调度方法，包括以下步骤：

S1、设计与组件类别相对应的组件配置模版，配置模版中除伪节点Base以外，其他节点与机器学习建模所需的任务一一对应；

S2、获取当前机器学习工作流所包含的机器学习建模所需的任务及任务顺序，并将该任务顺序和配置模版作为参数一起传入；

S3、根据任务顺序动态加载配置模版参数，执行机器学习工作流。

优选的，该方法还包括：S11、采用与组件类别相对应的组件配置模版对组件进行封装，包括采用与组件类别相对应的组件配置模版对组件进行封装，将组件的数据输入接口、数据输出接口及组件参数接口暴露出来。

优选的，该方法还包括：S12、任务运行日志保存路径通过伪节点Base进行配置。

优选的，该方法还包括：S21、按照该任务顺序对机器学习建模所需的任务所对应组件进行连接后，根据组件的规范性输入类型、输入数量、输出类型及输出数量对前后连接的两个组件进行是否符合连接规范检查；