[发明专利]一种基于推送模型的分布式计算集群本地性调度方法

摘要

本发明公开了一种基于推送模型的分布式计算集群本地性调度方法，包括以下步骤：第一步，各应用管理器为每个计算任务生成一个资源请求，发送给集群调度器；第二步，集群调度器对收到的资源请求进行分类；第三步，对分类好的资源请求进行剪枝处理；第四步，节点管理器通过心跳来触发调度；第五步，对于等待时间超过了最大延迟时间的资源请求，缓存到待推送的资源请求队列中；第六步，将待推送的资源请求主动推送到其数据所在的节点进行调度；第七步，降低推送失败的资源请求所要求的数据本地性。本发明可解决现有集群调度器在内存计算场景下本地性差的问题，提高数据本地性，同时解决长尾效应问题。

主权项

1.一种基于推送模型的分布式计算集群本地性调度方法，包括以下步骤：(1)每一个应用管理器根据输入的数据块的数目，划分成多个任务，同时，各个应用管理器为每一个任务生成资源请求，发送给集群调度器，并缓存在第一资源请求队列中；(2)集群调度器根据资源请求的优先级，将所述第一资源请求队列划分为四种不同任务的资源请求：1、Map任务；2、AM任务；3、Reduce任务；4、失败过的Map任务；(3)集群调度器对所述步骤(2)中划分的不同任务的资源请求，作相应的剪枝处理，生成第二资源请求队列，具体如下：1、对于Map任务，只响应数据落在本地的资源请求；2、对于AM任务，由于AM任务中不存在数据，所以不做任何本地性检查；3、对于Reduce任务，由于所需要的数据在不同的节点上，所以不做任何本地性检查；4、对于失败过的Map任务，降低资源请求所要求的本地性等级；(4)每次当节点管理器向集群调度器发送心跳时，集群调度器从所述第二资源请求队列中选取一个资源请求，进行资源分配；(5)从所述第二资源请求队列中，筛选出等待时间超过设定的最大延迟时间的资源请求，缓存在第三资源请求队列中；(6)集群调度器从所述第三资源请求队列中选取一个等待时间最长的资源请求，查找该资源请求的数据所在节点，主动触发该节点的调度；(7)如果主动触发调度后仍然失败，则降低要求的本地性等级。