[发明专利]流计算系统中的数据处理方法、控制节点及流计算系统

权利要求书

1.一种流计算系统，其特征在于，包括：控制节点和多个工作节点；

所述多个工作节点中的每个工作节点用于，根据所述工作节点的并发度，调用对应数目的执行单元来对接收到的元组进行处理；其中，所述工作节点的并发度表征所述工作节点可调用的执行单元的数目；所述工作节点的并发度被配置在描述业务处理逻辑的流图中；

所述控制节点用于，收集所述工作节点的处理速度信息，以及在所述流图中具有逻辑上下游关系的工作节点间的数据流量信息；根据收集到的数据流量信息和处理速度信息确定与所述工作节点当前的负载情况相匹配的优化并发度；若确定所述工作节点的优化并发度与所述工作节点的并发度不相同，则按照所述工作节点的优化并发度对所述工作节点的并发度进行调整。

2.如权利要求1所述的流计算系统，其特征在于，所述控制节点具体用于：

当所述工作节点的优化并发度大于所述工作节点的并发度时，根据所述工作节点的优化并发度为所述工作节点新增至少一个执行单元，或当所述工作节点的优化并发度小于所述工作节点的并发度时，删除所述工作节点的至少一个执行单元，使得所述工作节点当前的并发度与所述工作节点的优化并发度相同。

3.如权利要求2所述的流计算系统，其特征在于，所述控制节点具体用于：生成用于创建新的执行单元的第一控制指令并发送给所述工作节点；

所述工作节点用于，根据所述第一控制指令创建至少一个新执行单元，并创建所述新执行单元与其它执行单元的数据通道，其中，所述工作节点当前可调用的执行单元的数目与所述工作节点的优化并发度所表征的执行单元数目相同。

4.如权利要求2所述的流计算系统，其特征在于，所述控制节点具体用于：生成用于删除所述工作节点的执行单元的第二控制指令并发送给所述工作节点；

所述工作节点用于，根据所述第二控制指令删除所述工作节点的至少一个执行单元，并删除与所述删除的执行单元连接的数据通道，其中，所述工作节点当前可调用的执行单元的数目与所述工作节点的优化并发度所表征的执行单元数目相同。

5.如权利要求2至4任一项所述的流计算系统，其特征在于，所述控制节点还用于，根据新增或删除的至少一个执行单元，调整所述工作节点对应的上游工作节点的数据派发策略，并向所述上游工作节点发送调整后的数据派发策略，使得所述上游工作节点根据调整后的数据派发策略，在确定下游的目标工作节点对应的目标执行单元后，将数据包对应派发到所述目标执行单元，其中，所述数据派发策略用于表示所述工作节点在派发数据时，接收数据的所述目标执行单元以及所述目标执行单元在接收数据时的数据量。

6.如权利要求2至4任一项所述的流计算系统，其特征在于，所述控制节点还用于，根据新增或删除的至少一个执行单元，调整所述工作节点对应的上游工作节点的数据派发策略，并向所述上游工作节点发送调整后的数据派发策略，使得所述上游工作节点根据调整后的数据派发策略，确定目标工作节点所属的工作节点组，所述工作节点组包括至少一个工作节点；并从所述工作节点组中确定下游的目标工作节点，以及在确定所述目标工作节点对应的目标执行单元后，将数据包对应派发到所述目标执行单元。

7.如权利要求1至4任一项所述的流计算系统，其特征在于，所述控制节点具体用于，根据元组到达时间和元组处理时间来确定所述工作节点的优化并发度；其中，所述元组到达时间表示元组到达所述工作节点的时间，所述元组处理时间表示所述工作节点的执行单元处理所述元组的时间。

8.如权利要求7所述的流计算系统，其特征在于，所述工作节点的优化并发度近似等于所述元组处理时间与所述元组到达时间的比值。

9.一种控制节点，包括：至少一个处理器、通过通信总线与所述至少一个处理器通信连接的存储器、以及存储在所述存储器上并可被所述至少一个处理器执行的计算机程序，其特征在于，所述至少一个处理器执行所述程序时实现权利要求1至8任一项所述的流计算系统中控制节点的功能。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至8任一项所述的流计算系统中控制节点的功能。