[发明专利]基于关键资源和数据预处理的资源调度方法及识别系统

摘要

本发明提供了一种基于关键资源和数据预处理的资源调度方法，包括：在集群执行作业过程中生成节点队列；根据所述生成节点队列选取目标节点以及预备作业任务；通过调度算法寻找所述目标节点，并在所述预备作业任务中读取相应的任务信息，根据所述任务信息调度所述预备作业任务中的作业进行执行。本发明还提供了一种基于关键资源和数据预处理的资源调度系统。本发明能缩短已提交作业在集群中的等待时间，降低作业的失败率，提高节点的执行效率，提高资源的使用率。

主权项

1.一种基于关键资源和数据预处理的资源调度方法，其特征在于，所述基于关键资源和数据预处理的资源调度方法包括：在集群执行作业过程中生成节点队列；根据所述生成节点队列选取目标节点以及预备作业任务；通过调度算法寻找所述目标节点，并在所述预备作业任务中读取相应的任务信息，根据所述任务信息调度所述预备作业任务中的作业进行执行；其中，所述在集群执行作业过程中生成节点队列的步骤具体包括：在集群的每一个心跳周期中，利用集群内的从节点向集群内的主节点发送的心跳信息来确定节点是否有空闲资源，并在有空闲资源时将拥有空闲资源的节点加入到所述节点队列中并按照顺序排列；在没有空闲资源时，利用节点释放资源的速度来计算当前节点的作业完成所需的剩余时间以及计算一个作业所需的数据块在所述当前节点中传输的传输时间；如果所述剩余时间小于所述传输时间，则取消此次数据块的传输操作并将所述当前节点作为失败节点添加到失败队列中，如果所述剩余时间大于所述传输时间，则将所述当前节点添加到所述节点队列中并按照顺序排列。