[发明专利]一种流计算系统的调度方法和系统

说明书

本说明书实施例公开了一种流计算系统的调度方法和系统。所述流计算系统包括多个工作节点，所述方法包括：确定目标工作节点；获取反映所述目标工作节点相关局部作业流程的局部作业图；基于调度信息更新所述局部作业图，其中，所述调度信息包括工作节点的增加或删除，和/或局部作业流程的变更；基于所述更新后的局部作业图生成第一控制信息；发送所述第一控制信息至所述更新后的局部作业图所涉及的工作节点，以使所述更新后的局部作业图所涉及的工作节点基于所述第一控制信息修改其上游和/或下游的工作节点信息，从而完成调度。以使流计算系统具备高效的流作业调度方法，以提高流计算系统处理数据的效率。

技术领域

本说明书涉及流计算技术领域，特别涉及一种流计算系统的调度方法和系统。

背景技术

近年来，流计算系统中的流计算方式被作为新的数据计算结构，它可以实时的获取来自不同数据源的数据，并经过实时分析处理以获取有价值的信息。

目前，在流计算系统处理流动数据的过程中，可能会涉及到关于流动数据的作业进行调度的情况，例如分配多个工作节点完成相应的流计算作业，以使流计算系统适应当前的作业需求。流计算系统中流作业的调度方式(例如，工作节点的调度方式)决定流计算系统处理流动数据的效率，由此，需要一种高效的流计算系统的流作业调度方法，以提高流计算系统处理流动数据的效率。

发明内容

本说明书实施例之一提供一种流计算系统的调度方法。所述流计算系统包括多个工作节点，所述方法包括：确定目标工作节点；获取反映所述目标工作节点相关局部作业流程的局部作业图；基于调度信息更新所述局部作业图，其中，所述调度信息包括工作节点的增加或删除，和/或局部作业流程的变更；基于所述更新后的局部作业图生成第一控制信息；发送所述第一控制信息至所述更新后的局部作业图所涉及的工作节点，以使所述更新后的局部作业图所涉及的工作节点基于所述第一控制信息修改其上游和/或下游的工作节点信息，从而完成调度。

本说明书实施例之一提供一种流计算系统的调度系统，所述流计算机系统包括多个工作节点，其中，所述调度系统包括：第一确定模块，用于确定目标工作节点；获取模块，用于获取反映所述目标工作节点相关局部作业流程的局部作业图；第一更新模块，用于基于调度信息更新所述局部作业图，其中，所述调度信息包括工作节点的增加或删除，和/或局部作业流程的变更；生成模块，用于基于所述更新后的局部作业图生成第一控制信息；第一发送模块，用于发送所述第一控制信息至所述更新后的局部作业图所涉及的工作节点，以使所述更新后的局部作业图所涉及的工作节点基于所述第一控制信息修改其上游和/或下游的工作节点信息，从而完成调度。

本说明书实施例之一提供一种流计算系统的调度装置。所述调度装置包括处理器。所述处理器可以用于执行如上所述的流计算系统的调度方法。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的示例性流计算系统的示意图；

图2是根据本说明书一些实施例所示的流计算系统的调度方法的示例性流程图；

图3是根据本说明书一些实施例所示的流计算系统的变更示意图；

图4是根据本说明书一些实施例所示的流计算系统的调度系统的模块图；

图5是根据本说明书一些实施例所示的用于表示流计算系统的作业流程的示例性有向无环图的示意图；

图6是根据本说明书一些实施例所示的示例性局部作业图的示意图；

图7是根据本说明书一些实施例所示的示例性更新后的局部作业图的示意图。

具体实施方式