[发明专利]一种解决Spark数据倾斜问题的负载均衡方法及装置

摘要

本发明涉及一种解决Spark数据倾斜问题的负载均衡方法，包括S1：监测计算节点的平均CPU利用率、内存利用率，Spark Executor进程启动后，初始化Executor的权重信息；S2：每个计算节点根据预设抽样比例对本地中间数据进行抽样，然后将本地抽样信息通过消息通信发送给Master节点；S3：Master节点汇总抽样信息，建立数据分布的直方图，预测数据分布总体特征；S4：根据数据分布情况，将数据划分为多个分区，分区数为所有Executor总核数的整数倍，分区过程中对大型Key进行拆分；S5：计算Executor的性能因子，每个数据分区对应一个Executor任务，将任务按照贪心策略分配给性能因子最高的Executor；S6：Executor的权重根据其负载和资源利用率动态调整，重复步骤S5直到任务分配完毕。还包括对应装置。

主权项

1.一种解决Spark数据倾斜问题的负载均衡方法，其特征在于：包括：S1：监测计算节点的平均CPU利用率、内存利用率，SparkExecutor进程启动后，初始化Executor的权重信息；S2：每一个计算节点根据预设抽样比例对本地中间数据进行抽样，然后计算节点将本地抽样信息通过消息通信发送给Master节点；S3：Master节点汇总所有计算节点的抽样信息，然后根据预设抽样比例，建立数据分布的直方图，预测数据分布的总体特征；S4：根据数据分布情况，将数据划分为多个分区，分区数为所有Executor总核数的整数倍，分区过程中对大型Key进行拆分；S5：计算Executor的性能因子，每一个数据分区对应为一个Executor任务，然后将任务按照贪心策略分配给性能因子最高的Executor；S6：在整个过程中，Executor的权重根据其负载和资源利用率动态调整，重复步骤S5直到任务分配完毕。