[发明专利]一种流式应用升级方法、主控节点及流计算系统

摘要

本发明提供一种流式应用升级方法及流计算系统，该方法包括获取流式应用更新后的逻辑模型，通过对比更新后的逻辑模型以及初始逻辑模型，以确定待调整的流；根据待调整的流，生成升级指令；将生成的升级指令下发给工作节点，以使工作节点根据升级命令的指示，调整其上分布的PE之间的流；本发明提供的方法能够实现流式应用的在线升级，不中断业务。

主权项

一种流式应用升级方法，其特征在于，应用于流计算系统中的主控节点，所述流计算系统包括所述主控节点和至少一个工作节点，其中，多个执行单元PE分布于所述至少一个工作节点中的一个或多个工作节点上，用于对所述流计算系统上部署的流式应用的数据进行处理，其中所述流式应用的初始逻辑模型用于表示处理所述流式应用的数据的所述多个PE以及所述多个PE之间的数据流走向；所述方法包括：在所述流式应用更新的情况下，所述主控节点获取所述流式应用更新后的逻辑模型，比较所述流式应用的初始逻辑模型以及所述更新后的逻辑模型，以确定待调整的数据流，其中所述流式应用的初始逻辑模型所表示的PE与所述更新后的逻辑模型所表示的PE相同；根据所述待调整的数据流，生成升级指令；将所述升级指令下发给第一工作节点，所述第一工作节点是与所述待调整的数据流相关的PE所在的工作节点，所述升级指令用于指示所述第一工作节点调整所述第一工作节点上分布的PE之间的数据流走向；所述主控节点根据与所述待调整的数据流相关的PE的输入流和输出流的依赖关系，确定需要进行数据恢复的目标PE和所述目标PE执行数据恢复的检查点checkpoint；向所述目标PE所在工作节点下发数据恢复指令，所述数据恢复指令用于指示所述目标PE根据所述checkpoint恢复数据；当确定所述第一工作节点完成调整，且所述第一工作节点上分布的PE准备就绪之后，所述主控节点触发所述目标PE将恢复的数据输入所述目标PE的下游PE进行处理。