[发明专利]一种Spark集群系统的在线优化分区的任务调度方法及装置

摘要

本发明公开了一种Spark集群系统的在线优化分区的任务调度方法，属于在线集群资源调度技术领域。本发明所述方法包括步骤：统计上游Stage输出数据量大小、参与作业执行的总CPU核数、内存总量以及用于拉取数据的内存比例；根据输出数据量与用于拉取数据的内存容量的大小关系，计算任务执行的轮数，并设置优化的分区数量；监测计算节点的平均CPU利用率、内存利用率，对各计算节点的资源利用水平进行评估；降序排序所有节点的资源利用水平，优先调度任务给资源利用水平最高的节点执行；重复上述步骤直到所有任务调度完成。本发明能够自动配置优化的分区数量，提高集群的资源利用率，加快Spark作业的执行速度。

主权项

1.一种Spark集群系统的在线优化分区的任务调度方法，其特征在于，包括以下步骤：步骤1.统计上游Stage输出数据量大小、参与作业执行的总CPU核数、内存总量和用于拉取数据的内存比例；步骤2.根据输出数据量与用于拉取数据的内存容量的大小关系，计算任务执行的轮数，并设置数据的分区数量；步骤3.监测计算节点的平均CPU利用率和内存利用率，对各计算节点的资源利用水平进行评估；步骤4.降序排列所有节点的资源利用水平，优先调度任务给资源利用水平最高的节点执行；步骤5.重复步骤3‑步骤4，直至所有任务调度完成；步骤1中，上游Stage输出数据量大小其中，s_i为第i个计算节点上任务输出数据量大小，1≤i≤n，n为计算节点的数量；参与作业执行的总CPU核数其中，CPU_app(i)为第i个计算节点上用于应用程序的CPU核数；内存总量其中，Mem_app(i)为第i个计算节点上用于应用程序的内存容量；用于拉取数据的内存比例α从Spark参数配置文件中读取；步骤2中，用于拉取数据的内存容量的大小为Memory_app×α，将输出数据量S与用于拉取数据的内存容量Memory_app×α进行大小比对：当S≤Memory_app×α时，任务执行的轮数r＝1，数据的分区数为Core_app；当S＞Memory_app×α时，任务执行的轮数r＝ceil(S/(Memory_app×α))，其中ceil表示向上取整，数据的分区数为Core_app×r。