[发明专利]一种基于推送模型的分布式计算集群本地性调度方法

说明书

本发明公开了一种基于推送模型的分布式计算集群本地性调度方法，包括以下步骤：第一步，各应用管理器为每个计算任务生成一个资源请求，发送给集群调度器；第二步，集群调度器对收到的资源请求进行分类；第三步，对分类好的资源请求进行剪枝处理；第四步，节点管理器通过心跳来触发调度；第五步，对于等待时间超过了最大延迟时间的资源请求，缓存到待推送的资源请求队列中；第六步，将待推送的资源请求主动推送到其数据所在的节点进行调度；第七步，降低推送失败的资源请求所要求的数据本地性。本发明可解决现有集群调度器在内存计算场景下本地性差的问题，提高数据本地性，同时解决长尾效应问题。

技术领域

本发明涉及资源调度与并行计算技术领域，尤其涉及一种基于推送(Push)模型的分布式计算集群本地性调度方法。

背景技术

在当今大数据时代，数据密集型计算被应用在越来越多的场景下，而且随着以Apache Hadoop为代表的数据并行计算框架的出现和蓬勃发展，使得计算能力有了极大的提高，并且，Hadoop YARN成为了Hadoop生态系统中的资源管理器。与此同时，随着内存硬件价格的不断降低，基于磁盘存储的分布式文件系统HDFS逐渐不能满足分布式系统对数据获取速度的要求，因此，基于内存的分布式文件系统Alluxio开始兴起。数据本地性是影响分布式计算框架性能的一大重要指标，数据本地性就是将计算放置在数据所存放的节点上，可以有效的减少跨节点，甚至跨机架的数据传输所带来的网络开销，尤其是在基于内存的分布式文件系统中，数据本地性意味着以内存的速度来获取数据。但是，我们在实践中发现，在内存计算场景下，资源管理器YARN的数据本地性性能非常差。前人提出了一种延迟调度的方法来获取数据本地性：每次一个节点向调度器发送心跳触发一次调度时，如果调度器不能在该节点上分配一个满足数据本地性的任务，就放弃本次调度机会，让其他节点进行调度。这样的调度机制在HDFS这样的多副本文件系统中可以获得较好的性能，但是在Alluxio这样的单副本场景下，由于每次调度满足数据本地性的概率远低于多副本场景，从而导致需要跳过大量的调度机会才能获得数据本地性。我们通过实验发现，大量跳过的调度次数会带来长尾效应的问题，从而导致这些跳过大量调度次数的任务会成为应用的“拖累者”，影响应用的完成时间，与此同时，大量的延迟调度过程中，会带来很多不必要的计算，从而影响系统的吞吐量。但是，目前还没有方法旨在解决内存场景下的本地性调度问题。因此，如何设计一个调度机制，使得调度器在内存计算这样的单副本场景下依旧获得很好的数据本地性，成为了一个非常有挑战性的工作。

发明内容

发明目的：针对上述现有技术存在的问题和不足，本发明的目的是提供一种基于推送模型的分布式计算集群本地性调度方法，解决了现有方法在内存计算场景下本地性性能不高的问题，同时，解决延迟调度所带来的长尾效应问题。

技术方案：为实现上述发明目的，本发明采用的技术方案为一种基于推送模型的分布式计算集群本地性调度方法，包括以下步骤：

(1)每一个应用管理器(Application Master,AM)根据输入的数据块的数目，划分成多个任务，同时，各个应用管理器为每一个任务生成资源请求，发送给集群调度器，并缓存在第一资源请求队列中；

(2)集群调度器根据资源请求的优先级，将所述第一资源请求队列划分为四种不同任务的资源请求：1、Map任务；2、AM任务；3、Reduce任务；4、失败过的Map任务；

(3)集群调度器对所述步骤(2)中划分的不同任务的资源请求，作相应的剪枝处理，生成第二资源请求队列，具体如下：1、对于Map任务，只响应数据落在本地的资源请求；2、对于AM任务，由于AM任务中不存在数据，所以不做任何本地性检查；3、对于Reduce任务，由于所需要的数据在不同的节点上，所以不做任何本地性检查；4、对于失败过的Map任务，降低资源请求所要求的本地性等级；

(4)每次当节点管理器(Node Manager,NM)向集群调度器发送心跳时，集群调度器从第二资源请求队列中选取一个资源请求，进行资源分配；