[发明专利]基于Flink引擎计算节点动态扩展的任务评价方法和装置

权利要求书

1.一种基于Flink引擎计算节点动态扩展的任务评价方法，其特征在于，应用于作业管理器，所述方法包括：

接收客户端发送的任务，其中，所述任务是所述客户端根据用户数据生成的；

接收所述客户端在出现数据热点时发送的节点扩展指令，根据所述节点扩展指令修改所述任务的执行图的拓扑结构，并通知目标算子任务的上游算子任务增加结果分区和变更虚拟哈希映射表和虚拟路由表，其中，所述目标算子任务为出现所述数据热点的算子任务；

通过任务管理器启动新增计算节点，初始化所述新增计算节点的输入网关和结果分区，其中，所述新增计算节点的输入网关与所述上游算子任务增加的结果分区连接；

通知所述目标算子任务的下游算子任务增加输入通道，其中，所述下游算子任务增加的输入通道与所述新增计算节点的结果分区连接；

通过所述任务管理器根据修改后的所述任务的执行图的拓扑结构，对用户数据进行处理，得到任务评价结果。

2.如权利要求1所述的方法，其特征在于，所述用户数据包括：用户的基本信息、消费数据、贷款数据、收入数据、社交信息中的一种或者多种。

3.如权利要求1或2所述的方法，其特征在于，所述通过所述任务管理器根据修改后的所述任务的执行图的拓扑结构，对用户数据进行处理，得到任务评价结果，包括：

通过所述任务管理器将经过上游算子任务处理的用户数据通过结果分区传输至目标算子任务的输入网关，其中，所述上游算子任务增加的结果分区与所述新增计算节点的输入网关连接；

将所述目标算子任务的输入网关接收的用户数据分至目标算子任务的N个原有计算节点和新增计算节点进行处理，将经过目标算子任务处理的用户数据通过结果分区传输至下游算子任务的输入网关，其中，所述新增计算节点的结果分区与所述下游算子任务增加的输入通道连接；

将所述下游算子任务的输入网关接收的用户数据分至下游算子任务的M个计算节点进行处理，将经过下游算子任务处理的用户数据传输至下一个算子任务继续处理；

其中，N、M为正整数。

4.如权利要求3所述的方法，其特征在于，所述根据修改后的所述任务的执行图的拓扑结构，对用户数据进行处理，得到任务评价结果，还包括：

通过初始算子任务拉取用户数据，并根据修改后的所述任务的执行图的拓扑结构传输至下一个算子任务进行处理；

通过输出算子任务将处理完成的用户数据输出，得到任务评价结果。

5.如权利要求1所述的方法，其特征在于，所述变更虚拟哈希映射表和虚拟路由表，包括：

通过上游算子任务在虚拟哈希映射表中新增新建结果分区的映射，将上游算子任务的结果分区对应的虚拟哈希值均分一半给所述新建结果分区；

根据虚拟哈希映射表，将所述新建结果分区对应的所有虚拟哈希值在虚拟路由表中全部映射为所述新建结果分区。

6.一种基于Flink引擎计算节点动态扩展的任务评价装置，其特征在于，包括：

作业管理器，用于接收客户端发送的任务，并接收客户端在出现数据热点时发送的节点扩展指令，根据所述节点扩展指令修改所述任务的执行图的拓扑结构，并通知目标算子任务的上游算子任务增加结果分区和变更虚拟哈希映射表和虚拟路由表，其中，所述目标算子任务为出现所述数据热点的算子任务；通知任务管理器启动新增计算节点；通知所述目标算子任务的下游算子任务增加输入通道，其中，所述下游算子任务增加的输入通道对象与所述新增计算节点的结果分区连接；通过所述任务管理器根据修改后的所述任务的执行图的拓扑结构，对用户数据进行处理，得到任务评价结果；

任务管理器，用于接收作业管理器发送的指令，启动新增计算节点，初始化所述新增计算节点的输入网关和结果分区，其中，所述新增计算节点的输入网关与所述上游算子任务增加的结果分区连接；还用于根据修改后的所述任务的执行图的拓扑结构，对用户数据进行处理，得到任务评价结果；

客户端，用于构建任务，将所述任务发送至作业管理器，并在出现数据热点时发送的节点扩展指令至作业管理器。

7.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的方法。