[发明专利]一种应用于数据分析任务的工作流调度方法

摘要

本发明提供了一种应用于数据分析任务的工作流调度方法，涉及计算机软件领域，包括S1：接收任务序列，解析并封装任务序列中的每一个最小任务单元；S2：根据最小任务单元构建数据流向图，数据流向图中包含节点；S3：对数据流向图中的节点进行初始化；S4：在初始化后的数据流向图中查找并行的节点；S5：通过多个工作线程按照数据流向图执行任务，并行的节点同时执行；S6：循环S4‑S5，直到带有结束标识的任务执行完毕，整个工作流调度完成。本发明解决了目前的调度方法中往往由一个节点管家负责各个节点的任务执行，一旦一个节点程序运行出错或者节点管家宕机，会导致整个数据分析任务执行失败的问题。

主权项

1.一种应用于数据分析任务的工作流调度方法，其特征在于，包括如下步骤：S1：接收任务序列，解析并封装任务序列中的最小任务单元；S2：根据最小任务单元构建数据流向图，并把数据流向图中的节点划分成多个数据生产‑消费关系，每一个数据生产‑消费关系中包含节点；S3：对数据生产‑消费关系进行初始化；S4：在初始化后的数据生产‑消费关系中查找能够并行的节点；S5：通过多个工作线程按照数据流向图执行任务，其中并行的节点同时执行；S51：根据S4中初始化后的数据生产‑消费关系计算并验证当前节点是否满足所有执行条件；若满足，进入S52，若不满足，则进行等待，直到满足再进行S52；S52：工作线程执行任务；S53：对任务执行后的结果封装在内存中；S6：循环S4‑S5，直到带有结束标识的任务执行完毕，整个工作流调度完成。