[发明专利]一种最小化作业完工时间的Spark任务分配方法

摘要

本发明公开了一种最小化作业完工时间的Spark任务分配方法，先计算调度阶段优先级，再添加已就绪调度阶段到就绪调度阶段队列中，按优先级给就绪队列中的调度阶段分配资源，直至资源不够或就绪队列为空，若就绪队列为空则继续添加就绪调度阶段，若资源不够则等待有调度阶段完成并释放资源，重复上述操作直至所有作业完工，综合考虑了调度阶段所处的作业优先级和调度阶段是否处于关键路径上，在调度阶段内任务的资源分配方面，本方法考虑了数据传输时间和处理时间，使任务被放置在能最早完工的节点上执行。

主权项

1.一种最小化作业完工时间的Spark任务分配方法，其特征在于，包括以下步骤：S1, 计算所有待处理作业集合中所有作业的各调度阶段的优先级；S2，判断待处理作业集合中是否还有未完成资源分配的作业，若有，继续步骤S3；否则，方法结束；S3，从所有作业中选择所有尚未完成资源分配且入度为0的调度阶段，将其插入到就绪调度阶段队列中，且保持该队列按作业及调度阶段优先级从高到低的顺序排列，所述队列中队首为优先级最高的作业中拥有最高优先级的待分配资源的调度阶段；S4，判断就绪调度阶段队列是否不为空且服务资源充足，若是，继续步骤S5；若否，转入步骤S7；S5，按照优先级依次为队列中的调度阶段分配资源，直至队列为空或者服务资源不够；S6，将已分配资源的调度阶段从就绪调度阶段队列中删除；S7，等待有调度阶段执行完，释放占用的资源，将执行完的调度阶段从该调度阶段所属的作业中删除，返回步骤S2。