[发明专利]一种分布式任务分配方法

说明书

本发明涉及分布式任务分配方法。该方法包括下述步骤：作业被初始化分解为多个任务，主控制节点为该任务建立任务运行状态表；将第一个任务分配给计算节点的同时，将与第一个任务相同的备份任务分配给预测节点；预测节点计算该备份任务所需要的磁盘空间并将计算结果反馈给主控制节点；主控制节点根据来自预测节点的计算结果更新任务运行状态表；在分配任务给计算节点之前时，主控制节点推测该计算节点的任务状态并且根据推测到的任务状态以及任务运行状态表估算任务可运行空间；在估算的任务可运行空间大于该任务运行所需空间的情况下，将该任务分配给该计算节点，否则重新选择计算节点。

技术领域

本发明涉及一种分布式计算系统中的任务分配方法，具体地涉及能够预防分布式任务计算时间延迟的优化方法。

背景技术

现有技术中，在分布式计算过程中，一个作业（job）通常会被分解成多个子任务，由主控制节点分配给多个计算节点进行并行计算。每一个计算子任务（task）在计算节点上运行时，是需要将中间数据写入本地的文件系统的。通常情况下，多个子任务在同一个计算节点上运行的时候，可以分别通过不同的磁盘写入点往文件系统写数据，这样来提高作业运行时磁盘的吞吐率。

如果某写入点所在的磁盘空间不够，这个任务会在文件写到一半时因为磁盘空间已满而被拒绝访问，从而导致这个任务运行失败。这时，该计算节点会在下一个心跳机制执行时向主控制节点反馈。主控制节点会把这个任务分配到新的空闲计算节点重新计算。但是，分配时通常会根据数据存储就近策略进行计算节点分配，这时，这个任务还是很有可能被分配到出错的计算节点上，极端的情况，这个新的任务又被分到同一个出错计算节点上，再次运行失败。这样，就会导致同一个子任务不断失败，又不断重复执行，这样会影响整个作业的执行效率。

严重时，还可能因为同一个子任务的多次失败而使主控制节点自发地判定作业执行失败。即使没有出现这种情况，整个作业的执行时间也被大大延迟。比如任务运行需一个小时，如果正好运行到五十九分钟的时候出现磁盘空间不足，这个任务将被重新执行，而这时整个作业也因为这个原因而延迟结束了将近一个小时，这是非常大的代价。

通常情况下，主控制节点在分配任务时只关注计算节点的计算资源使用情况（CPU、内存），而不关注计算节点的磁盘剩余空间，也不关注任务的磁盘使用量。这样，当某一些节点磁盘空间不足的情况下，就容易造成任务运行失败，进而导致整个作业的运行时间延迟。出现因磁盘空间不足而使整个作业运行时间延迟这种情况，是因为主控制节点在分配子任务给计算节点前，无法事先预知计算节点上的文件系统是否有足够的磁盘空间来支撑该子任务生成的中间数据，同时主控制结点也无法判断子任务在计算过程中生成的中间数据的大小。

在现有技术中，对于上述问题，作为通常的解决办法有以下2种：

（1）清理磁盘空间，保证所有计算节点的磁盘空间都足够大。这种方法直接，但是工作量很大，耗费时间长，灵活性也不足。尤其在计算节点多的情况下，清理磁盘是一项很浩大的工作。

（2）在计算节点上设置一个配置值，当剩余磁盘空间小于这个配置值时，就不再接收任务。这样虽然可以一定程度上解决上述问题，但配置值是固定，无法因为不同任务的需求而进行动态调整，这样可能会造成计算资源的浪费。如果配置值太低，仍然会出现磁盘空间不足而任务失败；如果配置值过高，计算节点无法得到充分利用。

发明内容

鉴于上述问题，本发明旨在提供一种能够降低任务失败风险并且能够保证执行效率的分布式任务分配方法。

本发明的分布式任务分配方法，其特征在于，包括下述步骤：

初始化作业步骤，作业被初始化分解为多个任务，主控制节点为该任务建立任务运行状态表；

初次任务分配步骤，将第一个任务分配给计算节点的同时，将与第一个任务相同的备份任务分配给预测节点；