[发明专利]分布式系统及其调度方法和调度装置

说明书

技术领域

本发明涉及分布式技术领域，特别是涉及一种分布式系统及其调度方法和调度装置。

背景技术

随着数据的不断膨胀，一般的单机系统已经不能够满足大数据的处理任务。因此利用多台机器组成的分布式系统成为当今主流的解决方案。在分布式系统中，一个非常核心的问题是资源的调度。比如HADOOP(由Apache基金会所开发的分布式系统基础架构)中，负责执行具体的处理任务的工作节点通过中心调度系统分配到集群的各个机器上。

分布式系统中各个机器的运行环境较为复杂，因此如何对分布式系统中的各个机器进行调度，以使得在分布式系统中出现单机问题时，仍能保持资源的正常调度，是目前分布式系统面临的主要问题。

发明内容

本发明的主要目的在于提供一种分布式系统及其调度方法和调度装置，其能够在分布式系统中出现单机问题时，仍能保持资源的正常调度。

根据本发明的一个方面，提供了一种分布式系统，包括向多个业务节点发放任务的调度节点和用于运行任务的多个业务节点，其中，业务节点周期性地向调度节点发送当前资源占用信息和当前任务队列信息；调度节点根据当前资源占用信息和当前任务队列信息，判定该业务节点是否可用；以及调度节点暂停向被判定为不可用的业务节点发送新的任务。

由此调度节点可以在可用的业务节点间进行资源的调度，并且可以避免将新的任务分发给不可用的业务节点，防止新任务被搁置。

优选地，调度节点在没有接收到来自特定业务节点的信息达第一预定时间的情况下将该特定业务节点从分布式系统中删除。这样，在判定节点死亡之前等待预定时间，能够规避节点短暂异常带来的系统抖动。另外，通过将失联节点的删除与繁忙节点的停用相结合，能够在保证资源可用性的前提下，优先使用优势资源，淘汰劣势资源，有效提示系统效率并预防性能问题。

优选地，调度节点在不可用业务节点数达到第一阈值和/或被删除业务节点数达到第二阈值时，启用新的业务节点。

由此，通过启用新的业务节点保证分布式系统能够提供足够的资源来执行任务的处理。

优选地，调度节点在不可用业务节点数高于第三阈值时暂停将业务节点判定为不可用。

由此，当不可用业务节点达到上限时，可以不再将业务节点判定为不可用，以保证分布式系统中能够提供足够的资源来执行任务的处理。

优选地，调度节点在当前资源占用信息高于第四阈值和当前任务队列信息高于第五阈值时判定该业务节点不可用。

通过根据当前资源占用信息和当前任务队列信息，能够更为全面准确地判断业务节点的不可用，如此一方面可以减轻业务节点的压力，另一方面可以将新任务分配给其它适于执行的业务节点，以使得新任务可以快速被执行。

优选地，调度节点在如下至少之一的情况下将不可用业务节点重新设为可用：当前资源占用信息不高于第四阈值和/或当前任务队列信息不高于第五阈值；以及业务节点被设为不可用达第二预定时间。

由此，被判定为不可用的业务节点在其满足条件的情况下可以重新投入系统使用。

根据本发明的另一个方面，还提供了一种分布式系统的调度方法，分布式系统包括用于运行任务的多个业务节点，该方法包括：周期性地获取业务节点的当前资源占用信息和当前任务队列信息；根据当前资源占用信息和当前任务队列信息，判定该业务节点是否可用；以及暂停向被判定为不可用的业务节点发送新的任务。

优选地，该调度方法还可以包括：在没有接收到来自特定业务节点的信息达第一预定时间的情况下将该特定业务节点从分布式系统删除。

优选地，该调度方法还可以包括：在不可用业务节点数达到第一阈值和/或被删除业务节点数达到第二阈值时，启用新的业务节点。

优选地，该调度方法还可以包括：在不可用业务节点数高于第三阈值时暂停将业务节点判定为不可用。

根据本发明的又一个方面，还提供了一种分布式系统的调度装置，分布式系统包括用于运行任务的多个业务节点，该装置用于向多个业务节点发放任务，并且包括：信息获取单元，用于周期性地获取业务节点的当前资源占用信息和当前任务队列信息；可用节点判断单元，用于根据当前资源占用信息和当前任务队列信息，判定该业务节点是否可用；以及调度调整单元，用于暂停向被判定为不可用的业务节点发送新的任务。

优选地，该调度装置还可以包括：节点删除单元，用于在没有接收到来自特定业务节点的信息达第一预定时间的情况下将该特定业务节点从分布式系统删除。