[发明专利]一种流计算系统的调度方法和系统

权利要求书

1.一种流计算系统的调度方法，所述流计算系统包括多个工作节点，其中，所述方法包括：

确定目标工作节点；

获取反映所述目标工作节点相关局部作业流程的局部作业图；

基于调度信息更新所述局部作业图，其中，所述调度信息包括工作节点的增加或删除，和/或局部作业流程的变更；

基于所述更新后的局部作业图生成第一控制信息；

发送所述第一控制信息至所述更新后的局部作业图所涉及的工作节点，以使所述更新后的局部作业图所涉及的工作节点基于所述第一控制信息修改其上游和/或下游的工作节点信息，从而完成调度。

2.根据权利要求1所述的方法，其中，所述获取反映所述目标工作节点相关局部作业流程的局部作业图，包括：

获取反映所述流计算系统的全局作业流程的全局作业图；

基于所述全局作业图，确定所述目标工作节点的一个或以上上游工作节点，以及一个或以上下游工作节点；

基于所述目标工作节点、所述一个或以上上游工作节点、所述一个或以上下游工作节点及其之间的局部作业流程，确定所述局部作业图。

3.根据权利要求2所述的方法，其中，所述局部作业图为有向无环图，所述局部作业图中的图节点与所述局部作业流程所涉及的工作节点一一对应，所述局部作业图中的有向连接指示局部作业流程在工作节点之间的流向。

4.根据权利要求3所述的方法，其中，所述基于调度信息更新所述局部作业图，包括：

基于所述调度信息在所述局部作业图中增加或删除图节点，和/或更改图节点间的有向连接。

5.根据权利要求4所述的方法，其中，增加或删除的图节点对应的工作节点与所述目标工作节点并行。

6.根据权利要求2所述的方法，其中，所述方法进一步包括：

基于所述更新的局部作业图更新反映所述流计算系统的全局作业流程的全局作业图。

7.根据权利要求1所述的方法，其中，所述第一控制信息至少包括局部数据挂起信息，用于指示所述一个或以上上游工作节点暂停接收数据。

8.根据权利要求7所述的方法，其中，所述第一控制信息进一步包括所述更新后的局部作业图涉及的工作节点的上游工作节点和/或下游工作节点的通信地址，以使所述更新后的局部作业图所涉及的工作节点基于所述第一控制信息更新与其上游工作节点和/或下游工作节点的通信连接关系。

9.根据权利要求1所述的方法，其中，所述方法进一步包括：

确定所述调度是否完成；

若是，生成第二控制信息并发送至所述一个或以上上游工作节点，以指示所述一个或以上上游工作节点恢复接收数据。

10.一种流计算系统的调度系统，所述流计算系统包括多个工作节点，其中，所述调度系统包括：

第一确定模块，用于确定目标工作节点；

获取模块，用于获取反映所述目标工作节点相关局部作业流程的局部作业图；

更新模块，用于基于调度信息更新所述局部作业图，其中，所述调度信息包括工作节点的增加或删除，和/或局部作业流程的变更；

生成模块，用于基于所述更新后的局部作业图生成第一控制信息；

传输模块，用于发送所述第一控制信息至所述更新后的局部作业图所涉及的工作节点，以使所述更新后的局部作业图所涉及的工作节点基于所述第一控制信息修改其上游和/或下游的工作节点信息，从而完成调度。