[发明专利]一种任务调度方法、装置及系统

说明书

本申请提供了一种任务调度方法、装置及系统，其中方法包括：确定大数据分析工作流中的当前任务以及当前任务的详情信息；其中，所述详情信息包括当前任务适用的群组标识；确定与详情信息中群组标识对应的执行器群组；发送所述当前任务至所述执行器群组中的执行器。本实施例中适用于大规模数据分析，在大规模数据分析中，基于任务详情信息中的群组标识，来发送任务至相应的执行器群组中的执行器，从而可以解决现有技术中无法适用于大规模数据分析的缺陷。

技术领域

本申请涉及计算机技术领域，尤其涉及一种任务调度方法、装置及系统。

背景技术

参见图1，为现有技术进行大数据分析的任务调度系统，具体包括服务器和多个执行器。大数据分析通常包括具有相互依赖关系的多个任务，服务器将具有相互依赖关系的多个任务，组成具有一定执行顺序工作流，并按工作流进行任务调度，以控制执行器来执行任务。

但是，目前任务调度系统中多个执行器的执行环境均是一致的，所以目前的任务调度系统没有群组概念(或者说目前任务调度系统仅适用于一个群组)，无法适用于大规模数据分析中在多个群组中实现任务调度。

发明内容

鉴于此，本申请提供一种任务调度方法、装置及系统，可以适应于大规模数据分析中在多个群组中实现任务调度。

为了实现上述目的，本申请提供以下技术特征：

一种任务调度方法，包括：

确定大数据分析工作流中的当前任务以及当前任务的详情信息；其中，所述详情信息包括当前任务适用的群组标识；

确定与详情信息中群组标识对应的执行器群组；

发送所述当前任务至所述执行器群组中的执行器。

可选的，所述详情信息还包括执行器标识或软件版本；则所述发送所述当前任务至所述执行器群组中的执行器，包括：

发送所述当前任务至发送所述当前任务至执行器标识对应的执行器；或，

发送所述当前任务至所述软件版本对应的执行器。

可选的，所述发送所述当前任务至所述软件版本对应的执行器，包括：

在所述执行器群组中具有至少两个与所述软件版本对应的执行器的情况下，确定出负载最小的执行器，并发送当前任务至该执行器。

可选的，在确定大数据分析工作流中的当前任务以及当前任务的详情信息之前，还包括：

提供第一显示界面以及第二显示界面；其中，所述第二显示界面用于显示大数据分析的任务图标；

在所述第一显示界面建立包含多个任务图标及其连接关系的连线图；

基于所述连线图生成工作流。

可选的，所述在所述第一显示界面建立包含多个任务图标及其连接关系的连线图，包括：

响应于任务图标由所述第二显示界面至所述第一显示界面的拖动操作，并在所述第一显示界面显示任务图标；

响应于所述第一显示界面中任务图标之间的连线操作，并在图标之间显示带方向的连接线；

重复执行上述拖动操作和连线操作，直到多个任务使用完毕。

可选的，所述基于所述连线图生成工作流，包括：

确定连接线输入端的任务图标对应代码，以及连接线输出端的任务图标对应代码；

在输出端的任务图标对应代码的输入集合中，添加所述输入端的任务图标的代码；

输入集合内任务之间为并联连接符，连接线两端任务之间为串联连接符。