[发明专利]一种基于推送模型的分布式计算集群本地性调度方法

权利要求书

1.一种基于推送模型的分布式计算集群本地性调度方法，包括以下步骤：

(1)每一个应用管理器根据输入的数据块的数目，划分成多个任务，同时，各个应用管理器为每一个任务生成资源请求，发送给集群调度器，并缓存在第一资源请求队列中；

(2)集群调度器根据资源请求的优先级，将所述第一资源请求队列划分为四种不同任务的资源请求：1、Map任务；2、AM任务；3、Reduce任务；4、失败过的Map任务；

(3)集群调度器对所述步骤(2)中划分的不同任务的资源请求，作相应的剪枝处理，生成第二资源请求队列，具体如下：1、对于Map任务，只响应数据落在本地的资源请求；2、对于AM任务，由于AM任务中不存在数据，所以不做任何本地性检查；3、对于Reduce任务，由于所需要的数据在不同的节点上，所以不做任何本地性检查；4、对于失败过的Map任务，降低资源请求所要求的本地性等级；

(4)每次当节点管理器向集群调度器发送心跳时，集群调度器从所述第二资源请求队列中选取一个资源请求，进行资源分配；

(5)从所述第二资源请求队列中，筛选出等待时间超过设定的最大延迟时间的资源请求，缓存在第三资源请求队列中；

(6)集群调度器从所述第三资源请求队列中选取一个等待时间最长的资源请求，查找该资源请求的数据所在节点，主动触发该节点的调度；

(7)如果主动触发调度后仍然失败，则降低要求的本地性等级。

2.根据权利要求1所述一种基于推送模型的分布式计算集群本地性调度方法，其特征在于：所述步骤(1)中，各个应用管理器为每一个任务生成一个资源请求的过程为并行执行。

3.根据权利要求1所述一种基于推送模型的分布式计算集群本地性调度方法，其特征在于：所述步骤(4)中，节点管理器通过定时向集群调度器发送心跳来触发集群调度器的调度，同时，各个节点管理器并行的向集群调度器发送心跳。