[发明专利]一种自下而上的分布式调度系统及方法

权利要求书

1.一种自下而上的分布式调度系统，所述分布式调度系统用于分布式集群，其特征在于，包括

全局调度器，所述全局调度器位于分布式集群的主节点，并存储和标识有分布式集群中具有任务请求类型的足够资源的子节点，接受来自各个子节点的本地调度器转发的调度任务请求，根据每个子节点的负载和任务的约束来做出调度决策；

多个本地调度器，每个所述本地调度器位于分布式集群的每个子节点，本地调度器在本地调度任务，将任务安排在本地进行处理，避免了将所有的任务提交到全局调度器，再由全局调度器调度所产生的时间开销；如果本地调度器不满足调度要求时，本地调度器会将任务转发给全局调度器。

2.根据权利要求1所述的分布式调度系统，其特征在于，

所述全局调度器根据所请求调度的任务，计算该请求调度的任务在各个子节点中的估计等待时间，并选取具有最低估计等待时间的子节点，所述估计等待时间为(i)该任务将在相应子节点排队的估计时间和(ii)该任务的远程输入的估计传输时间之和。

3.根据权利要求1或2所述的分布式调度系统，其特征在于，

还具有全局控制存储单元，当本地调度器对于无法满足需求的任务进行转发时，会将所转发的任务的详细信息都存储在全局控制存储单元之中。

4.根据权利要求3所述的分布式调度系统，其特征在于，

所述全局调度器根据所请求调度的任务，计算该请求调度的任务在各个子节点中的估计等待时间具体为：全局调度器会通过心跳程序获取各子节点的队列大小和节点资源可用性，并通过全局控制存储单元获取所请求调度的任务在全局控制存储单元中的输入的位置及其大小，从而计算该请求调度的任务在各个子节点中的估计等待时间。

5.根据权利要求3所述的分布式调度系统，其特征在于，

具有多个全局调度器，多个全局调度器共享全局控制存储单元相同信息，或者多个全局调度器分片负责全局控制存储单元的信息。

6.根据权利要求3所述的分布式调度系统，其特征在于，

所述本地调度器不满足调度要求具体包括：如果子节点负荷过载，或者是无法满足任务的要求。

7.根据权利要求3所述的分布式调度系统，其特征在于，

所述全局控制存储单元使用分片来实现规模化，并使用每个分片链复制来提供容错能力。

8.根据权利要求3所述的分布式调度系统，其特征在于，

所述分布式调度系统采用基于内存的分布式存储系统来存储每个任务的输入和输出，或无状态计算。

9.根据权利要求8所述的分布式调度系统，其特征在于，

对于分布式存储系统，如果任务的输入不是本地的，则在执行之前将输入复制到本地对象存储；以及任务将其输出写入本地对象存储。

10.一种自下而上的分布式调度方法，其特征在于，

设立如权利要求1-9中任意一项所述的分布式调度系统。