[发明专利]一种处理大数据平台Spark数据分配不均衡的方法

权利要求书

1.一种处理大数据平台Spark数据分配不均衡的方法，其特征在于，所述方法包括步骤：

(1)将Spark各Stage上一些任务设置为活动任务；

(2)根据活动任务的元数据估计任务的剩余运行时间；

(3)根据任务的剩余运行时间降序排列活动任务，将剩余运行时间最大的任务的可用数据块重新分配给剩余运行时间最小的任务；

(4)更新任务的剩余运行时间，重复步骤(3)直到无可用的数据块被调度或者重新分配后任务的剩余运行时间少于其他任务的最大剩余运行时间。

2.根据权利要求1所述的方法，其特征在于，将Spark各调度阶段上一些任务设置为活动任务，活动任务数量为m，m≤min(s,n)，其中，s为集群中总CPU核数，n为RDD的分区数或调度阶段任务总数，即活动任务的数量不能超过集群中CPU核数、RDD的分区数或调度阶段任务总数中的最小值；活动任务在任务执行即将结束时不能主动停止运行，只有接收到停止命令消息时才能停止运行，该实现方式是为了将执行时间最长的任务的未处理数据块分配到其他任务执行。

3.根据权利要求1所述的方法，其特征在于，MRFair每次最多选择一个任务进行分配，因为在一个任务中分割数据块并将其传输到其他任务占用了另一个已经完成的任务释放的空闲CPU资源，同时重新分配两个任务的效果没有只重新分配一个任务的效果好，重新分配一个任务使得该任务可以充分使用剩余的资源；MRFair Master估计所有任务的剩余执行时间，并在检测时选择剩余时间最长的任务进行重新分配；Master要保证剩余时间足以计算调度计划，如果MRFair决定重新分配任务T中的可用数据块，则需要满足以下两个条件：

(1)系统目前至少有一个CPU核是空闲的；

(2)重新分配只有在任务T原来的执行时间大于重新分配之后的执行时间加上分配需要的额外时间开销才有意义；

对于长时间执行的任务，数据倾斜的影响是非常严重的，重新分配任务的额外开销基本可以忽略不计。

4.根据权利要求1所述的方法，其特征在于，用户提交作业后，刚开始只要存在未被调度的任务，MRFair调用传统Schedule Backend模块调度分配任务；如果Master节点把所有的任务都调度分配完了，MRFair就激活MRFair Worker中的检测模块，对正在执行的任务基于预估的剩余运行时间值进行倾斜检测，如图2所示；如果任务的剩余运行时间值存在严重差异(即分割剩余任务是有价值的)，报告该信息给MRFair Master，并将该任务ID以及预估剩余运行时间值存入MRFair Master节点中的哈希列表中，等待后续处理。

5.根据权利要求1所述的方法，其特征在于，当Master节点根据任务的剩余运行时间降序排列活动任务时，需要将剩余运行时间最长的任务T1暂停运行，即MRFair Master通知MRFair Worker暂停该任务的执行，并捕获其最后处理的输入数据的位置以及允许跳过先前已处理的输入数据；如果剩余运行时间最长的任务T1处于一种不可能或者很难停止的状态，那么该请求失败，Master节点要么重新选择一个剩余运行时间次长的任务T2并对该任务进行以上处理，或者如果这个剩余运行时间最长的任务T1是作业中的最后一个任务的情形下，重新分区并且重新执行任务T1全部输入，重新执行剩余运行时间最长的任务T1的全部输入就如同Spark的推测执行策略。