[发明专利]基于Flink引擎计算节点动态扩展的任务评价方法和装置

说明书

本申请提出了一种基于Flink引擎计算节点动态扩展的任务评价方法，包括：接收客户端发送的任务；接收客户端在出现数据热点时发送的节点扩展指令，根据节点扩展指令修改任务的执行图的拓扑结构，并通知目标算子任务的上游算子任务增加结果分区和变更虚拟哈希映射表和虚拟路由表，其中，目标算子任务为出现数据热点的算子任务；通过任务管理器启动新增计算节点，初始化新增计算节点的输入网关和结果分区；通知目标算子任务的下游算子任务增加输入通道；通过任务管理器根据修改后的任务的执行图的拓扑结构，对用户数据进行处理，得到任务评价结果。本申请解决了Flink引擎处理数据时的数据倾斜的问题，提高了系统的数据计算速度，满足任务实时场景需求。

技术领域

本申请涉及数据处理技术领域，尤其涉及基于Flink引擎计算节点动态扩展的任务评价方法和装置。

背景技术

随着大数据技术的快速发展，在数据处理领域中企业对计算引擎处理数据的速度以及稳定性要求随之提升。Flink作为新一代的流处理引擎，已经成为实时计算领域的主流。同时随着互联网的发展，征信数据呈指数级增长，对于一个百万级用户的征信系统，每天需要处理PB级别的实时数据。但在使用Flink引擎处理征信数据时，随着系统用户的增长以及不同种类数据的增加，Flink使用哈希分区策略处理征信数据时，有时会出现大量数据被分配到一个节点中处理，导致该节点出现数据热点情况，从而使得数据计算速度降低，吞吐量下降，无法满足任务的实时场景需求。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种基于Flink引擎计算节点动态扩展的任务评价方法，通过在出现数据热点时动态扩展计算节点，从而不影响系统的正确运行，同时没有影响到原有计算节点之间的拓扑关系，避免了重新消费数据的可能，根本上解决了Flink引擎处理数据时的数据倾斜的问题，提高了系统的数据计算速度，满足任务实时场景需求。

本申请的第二个目的在于提出一种基于Flink引擎计算节点动态扩展的任务评价装置。

本申请的第三个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本申请第一方面实施例提出了一种基于Flink引擎计算节点动态扩展的任务评价方法，包括：接收客户端发送的任务，其中，任务是客户端根据用户数据生成的；接收客户端在出现数据热点时发送的节点扩展指令，根据节点扩展指令修改任务的执行图的拓扑结构，并通知目标算子任务的上游算子任务增加结果分区和变更虚拟哈希映射表和虚拟路由表，其中，目标算子任务为出现数据热点的算子任务；通过任务管理器启动新增计算节点，初始化新增计算节点的输入网关和结果分区，其中，新增计算节点的输入网关与上游算子任务增加的结果分区连接；通知目标算子任务的下游算子任务增加输入通道，其中，下游算子任务增加的输入通道与新增计算节点的结果分区连接；通过任务管理器根据修改后的任务的执行图的拓扑结构，对用户数据进行处理，得到任务评价结果。

可选地，在本申请的一个实施例中，用户数据包括：用户的基本信息、消费数据、贷款数据、收入数据、社交信息中的一种或者多种。

可选地，在本申请的一个实施例中，通过任务管理器根据修改后的任务的执行图的拓扑结构，对用户数据进行处理，得到任务评价结果，包括：

通过任务管理器将经过上游算子任务处理的用户数据通过结果分区传输至目标算子任务的输入网关，其中，上游算子任务增加的结果分区与新增计算节点的输入网关连接；

将目标算子任务的输入网关接收的用户数据分至目标算子任务的N个原有计算节点和新增计算节点进行处理，将经过目标算子任务处理的用户数据通过结果分区传输至下游算子任务的输入网关，其中，新增计算节点的结果分区与下游算子任务增加的输入通道连接；

将下游算子任务的输入网关接收的用户数据分至下游算子任务的M个计算节点进行处理，将经过下游算子任务处理的用户数据传输至下一个算子任务继续处理；