[发明专利]应用于Spark的作业分配方法及装置

说明书

本发明实施例公开了一种应用于Spark的作业分配方法及装置，涉及大数据处理技术领域，该方法包括：确定待分配作业的作业类型；从Reducer节点集合中选择出一个目标Reducer节点，然后将所述待分配作业分配到该目标Reducer节点；根据第t次作业分配时所述目标Reducer节点在所述作业类型上的选择概率以及第t次作业分配时所述目标Reducer节点在非所述作业类型上的选择概率，重新确定所述目标Reducer节点的选择概率，然后缩放所述Reducer节点集合中其他Reducer节点的选择概率，本发明有助于解决Spark中因数据倾斜问题而导致数据处理性能下降问题。

技术领域

本发明涉及大数据处理技术领域，具体而言，涉及一种应用于Spark的作业分配方法及装置。

背景技术

随着企业需要处理的数据量级越来越大，Spark以其持久化数据以及少量IO读写大量内存执行导致的高处理效率的优势，被广泛用于大规模数据处理中。在许多Spark应用程序中，Map节点输出的数据在Reduce节点上分布不均匀，浪费了高容量Reduce节点的许多负载空间。通过对Spark的内部原理和数据处理过程进行分析和研究，发现Shuffle阶段的分区算法对数据的处理效率对整个任务的完成时间有着严重的影响。在Spark系统中，作业的总完成时间由最慢的Reduce任务决定,为某些低性能的Reduce分配大量数据会导致数据处理效率低，当其他Reduce处于空闲状态，都在等待当前Reduce处理完毕的时候，称为发生了数据倾斜问题。数据倾斜问题被认为是大数据处理平台中的瓶颈，它对大数据分析系统的性能产生了极大的影响。

如何解决Spark中因数据倾斜问题而导致数据处理性能下降，进而提高Reduce阶段的数据处理效率是目前急需解决的技术问题。

发明内容

本发明为了解决Spark中因数据倾斜问题而导致数据处理性能下降的技术问题，提出了一种应用于Spark的作业分配方法及装置。

为了实现上述目的，根据本发明的一个方面，提供了一种应用于Spark的作业分配方法，该方法包括：

在进行第t次作业分配时，确定待分配作业的作业类型，其中，t为大于等于1的整数；

进行N轮Reducer节点选择直至从Reducer节点集合中选择出一个目标Reducer节点，然后将所述待分配作业分配到该目标Reducer节点；其中，在进行每轮Reducer节点选择时，先根据第t次作业分配时所述Reducer节点集合中各Reducer节点的选择概率从所述Reducer节点集合中选择出一个Reducer节点，然后计算该选择出的Reducer节点在所述作业类型上的负载阈值，若该选择出的Reducer节点在所述作业类型上的当前负载小于所述负载阈值，则将该选择出的Reducer节点确定为目标Reducer节点；若该选择出的Reducer节点在所述作业类型上的当前负载大于或等于所述负载阈值，则将该选择的Reducer节点从所述Reducer节点集合中删除，然后更新所述Reducer节点集合中剩余各Reducer节点的选择概率，进而进入下一轮Reducer节点选择，N为大于等于1的整数；

根据第t次作业分配时所述目标Reducer节点在所述作业类型上的选择概率以及第t次作业分配时所述目标Reducer节点在非所述作业类型上的选择概率，重新确定所述目标Reducer节点的选择概率，然后基于重新确定的所述目标Reducer节点的选择概率缩放所述Reducer节点集合中其他Reducer节点的选择概率，得到第t+1次作业分配时所述Reducer节点集合中各Reducer节点的选择概率。

可选的，所述应用于Spark的作业分配方法，还包括：