[发明专利]一种流式应用升级方法、主控节点及流计算系统

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及一种流式应用升级方法、一种主控节点以及一种流计算系统。

背景技术

随着大数据时代的到来，对海量数据进行实时处理、分析、决策的市场需求不断扩大，如：电信领域的精准广告推送，金融领域的交易动态实时分析，工业领域的实时监控等等。在此背景下，数据密集型应用，比如金融服务、网络监控、电信数据管理等，已经得到越来越广泛的应用，同时适应于数据密集型应用的流计算系统也应运而生。数据密集型应用产生的数据具有数据量大、快速、时变的特点，当数据密集型应用部署到流计算系统之后，流计算系统可以在接收到应用的数据时就立即对其进行处理，以保证实时性。如图1所示，流计算系统通常包括一个主控节点(Master)和多个工作节点(worker)，主控节点主要负责调度和管理各个工作节点，而工作节点是承载实际的数据处理操作的逻辑实体，工作节点具体通过调用若干个执行单元(PE，Process Element)来对数据进行处理，PE是业务逻辑的物理执行单元。

通常，流计算系统中部署的应用程序或业务被称为流式应用，现有技术中，当部署一个流式应用到流计算系统时，需要预先定义该流式应用的逻辑模型，流式应用的逻辑模型通常以无回路有向图(Directed Acyclic Graph，DAG)来表示，如图2所示，其中PE是承载实际的数据处理操作的物理载体，也是可被流计算系统调度执行的最小单元；stream代表各PE间的传输的数据流，箭头表示了数据流的走向；PE可以动态加载并执行业务逻辑，对流式应用的数据进行实时处理。如图3所示，流计算系统根据逻辑模型将各个PE部署在不同的工作节点上执行，各个PE依照自己的逻辑进行运算，并把运算结果转发给下游PE。而当用户需求或业务场景发生变化时，流式应用就需要更新或升级，初始的逻辑模型已经不再适用。因此首先需要离线完成流式应用的更新，并定义新的逻辑模型，然后停止旧的应用，再根据新的逻辑模型将更新后的流式应用重新部署到流计算系统中，最后再启动更新后的流式应用。可以看出，现有技术中进行流式应用的更新，需要中断原先业务，无法进行流式应用的在线升级，导致业务损失。

发明内容

本发明实施例提供一种流式应用升级方法、主控节点及流计算系统，用以在不需要中断业务的情况下，实现流计算系统中流式应用的在线升级。

第一方面，本发明实施例提供了一种流式应用升级方法，应用于流计算系统中的主控节点，所述流计算系统包括所述主控节点和至少一个工作节点，其中，多个执行单元PE分布于所述至少一个工作节点中的一个或多个工作节点上，用于对所述流计算系统上部署的流式应用的数据进行处理，其中所述流式应用的初始逻辑模型用于表示处理所述流式应用的数据的所述多个PE以及所述多个PE之间的数据流走向；所述方法包括：

在所述流式应用更新的情况下，所述主控节点获取所述流式应用更新后的逻辑模型，并通过比较所述流式应用的初始逻辑模型以及所述更新后的逻辑模型，确定待调整的数据流；

根据所述待调整的数据流，生成升级指令；

将所述升级指令下发给第一工作节点，所述第一工作节点是与所述待调整的数据流相关的PE所在的工作节点，所述升级指令用于指示所述第一工作节点调整其上分布的PE之间的数据流走向。

在第一方面的第一种可能的实现方式中，所述比较所述流式应用的初始逻辑模型以及所述更新后的逻辑模型，确定待调整的数据流包括：

比较所述流式应用的初始逻辑模型以及所述更新后的逻辑模型，以确定所述待调整的数据流，其中所述流式应用的初始逻辑模型所表示的PE与所述更新后的逻辑模型所表示的PE相同。

在第一方面的第二种可能的实现方式中，所述通过比较所述流式应用的初始逻辑模型以及所述更新后的逻辑模型，确定待调整的数据流包括：

比较所述流式应用的初始逻辑模型以及所述更新后的逻辑模型，以确定待调整的PE以及所述待调整的数据流，其中所述流式应用的初始逻辑模型所表示的PE与所述更新后的逻辑模型所表示的PE不完全相同；

所述根据所述待调整的数据流，生成升级指令包括：

根据所述待调整的数据流，生成第一升级指令；根据所述待调整的PE生成第二升级指令；

所述将所述升级指令下发给第一工作节点包括：