[发明专利]一种基于预调度的任务分配方法

摘要

一种基于预调度的任务分配方法，首先在主节点接收到子节点的心跳信息时，对该节点的负载进行判断，如果负载较轻则进行任务的预分配。子节点在接收到主节点返回的心跳指令后，如果发现预调度指令则启动预调度线程，并在后台循环判断预调度条件是否满足。如果条件满足则将之前心跳信息中的预调度任务加入待调度任务池，并启动该任务。当该预调度任务执行完成后，关闭该线程。该发明能够减少原hadoop系统的心跳-分配任务模式中两次心跳之间对资源的浪费。

主权项

一种基于预调度的任务分配方法，其特征包括以下步骤：1）启动主节点Job Tracker，开始主循环并启动IPC Handler监听和处理子节点的心跳信息；2）IPC Handler循环判断是否有子节点发来心跳信息，若没有则返回步骤1)；若有心跳信息到来则判断该子节点之前是否执行了预调度任务，若没有执行预调度任务则转步骤3），若执行了预调度任务则查看前次预调度任务是否成功，若失败则记录该失败任务的子节点编号，成功则从预调度任务队列和待调度任务队列删除已完成的任务；3）判断该子节点的负载是否较轻，若该子节点负载较轻，则为其在待调度任务队列中寻找符合下列条件的预调度任务，即当一个任务满足：①该任务处于可运行的状态；②该任务未在此子节点上失败过；③该任务满足数据本地性；这三个条件时，选中该任务并将其加入预调度任务列表，Job Tracker将预调度任务和其他待执行任务一起加入心跳信息中，否则，按普通任务指令进行；否则，返回步骤1）；4）Job Tracker将心跳信息返回子节点。