[发明专利]一种分布式系统的任务管理系统及方法

说明书

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种分布式系统的任务管理系统及方法。 

背景技术

由于单系统能力有限，分布式系统的使用越来越普及。对于分布式系统来说，一个任务从派发到执行再到执行结果汇总的整个生命周期，可能分布于系统中不同的计算节点上。并且对于大型的作业系统来说，系统中可能包含有成千上万的计算资源，参与任务处理的计算节点数量极大。如何合理的协调计算资源，如何追踪任务执行情况是目前迫切需要解决的问题。而目前的分布式系统仍然存在以下问题：

（1）任务的派发节点和执行节点的数量和运算能力不一定对等，可能出现派发任务过多导致饱和，此时如果继续派发任务则有可能使系统负载过重，导致宕机或者系统停摆。

（2）分布式系统涉及的计算资源众多，由于功能升级或者运维等原因可能需要对某些功能节点进行停机维护，但是并不希望整个系统停止运行，从而减少升级或者运维的成本。

（3）由于参与任务执行的节点是分布式的，一个任务具体被哪个节点执行不能确定，当任务执行出错时不能尽快定位出错的具体节点，并进行后续的处理流程。

发明内容

针对上述技术问题，本发明提供了一种分布式系统的任务管理系统及方法，利用单边操作模块来完善分布式系统的任务管理，提高系统资源的利用率和任务管理的健壮性和灵活性。 

本发明采用如下方法来实现：

一种分布式系统的任务管理系统，包括： 

派发节点，用于将任务派发至缓冲池中；

缓冲池，用于存储待执行的任务；

执行节点，用于从缓冲池中获取任务进行处理；

单边操作模块，用于接收用户指令，选择单边消费模式或者单边生产模式，所述单边消费模式为停止派发节点将任务派发至缓冲池中，允许执行节点从缓冲池中获取任务进行处理；所述单边生产模式为允许派发节点将任务派发至缓冲池中，停止执行节点从缓冲池中获取任务进行处理；

任务跟踪模块，用于跟踪任务的任务状态以及任务所在执行节点的信息。

进一步，任务跟踪模块中所述任务状态可以包括：任务已派发、任务被领取、任务开始执行、任务执行中、任务已超时、任务执行异常、任务已完成或者任务执行失败。

其中，任务状态中所述的任务已超时包括从任务已派发到任务被领取的全局超时，或者从任务被领取到任务开始执行的执行超时。

其中，任务跟踪模块中对所述任务状态进行更新的同时更新时间戳。

进一步，任务跟踪模块中，所述任务所在执行节点的信息可以通过MAC地址或者IP地址来标识。

优选地，该任务管理系统还可以包括：预警模块，用于监控缓冲池中的任务数量，当缓冲池中的任务数量达到预设阈值时触发预警；

进一步，预警模块具体完成：监控缓冲池中的任务数量，当缓冲池中的任务数量等于或高于预设阈值时触发预警，并暂停派发节点向缓冲池中派发新任务；或者当缓冲池中的任务数量等于或低于预设阈值时触发预警，并关闭部分执行节点。

其中，当暂停派发节点向缓冲池中派发新任务时，允许执行节点获取缓冲池中的任务进行处理；当关闭部分执行节点时，允许派发节点继续向缓冲池中派发任务。

优选地，该任务管理系统还包括：任务管理嵌套模块，利用扩展接口完成任务管理的嵌套；即在一个大的任务管理器中嵌套一些小的任务管理器，从而更好地完成对于子任务的处理控制，达到对于分布式系统中任务的细粒度控制。

更为优选地，该任务管理系统还包括：自定义处理模块，针对所述任务状态，利用扩展接口自定义后续处理流程。

进一步，自定义处理模块可以利用回调函数定义所述任务状态的后续处理流程。 

一种分布式系统的任务管理方法，在派发节点将任务派发至缓冲池中，执行节点从缓冲池中获取任务进行处理的过程中，如果接收到用户指令或者缓冲池中的任务数量接近某一阈值时，则进入单边模式，选择单边消费模式或者单边生产模式，所述单边消费模式为停止派发节点将任务派发至缓冲池中，允许执行节点从缓冲池中获取任务进行处理；所述单边生产模式为允许派发节点将任务派发至缓冲池中，停止执行节点从缓冲池中获取任务进行处理；

所述方法还包括跟踪任务的任务状态以及任务所在执行节点的信息。

进一步，所述任务状态可以包括：任务已派发、任务被领取、任务开始执行、任务执行中、任务已超时、任务执行异常、任务已完成或者任务执行失败。

其中，所述任务已超时包括从任务已派发到任务被领取的全局超时，或者从任务被领取到任务开始执行的执行超时。