[发明专利]分布式系统中的节点处理任务的方法

说明书

技术领域

本发明总体上涉及分布式系统，尤其涉及免配置的分布式系统计算节点的管理方法。

背景技术

分布式系统通常由一个管理节点和多个计算节点组成。管理节点负责计算节点的管理、计算任务的分配和计算结果的管理。计算节点负责计算任务的实际处理。它从管理节点获取任务，然后执行任务，最后向管理节点反馈执行结果。基本系统架构如图1所示。

现有的技术中，管理节点通常需要事先配置好所有的计算节点，通过定期与计算节点通信，来检测计算节点的状态。当增加计算节点时，必须要先在管理节点上增加配置，任务才能分配给新增的计算节点。当需要减少计算节点时，必须要维护该节点正在处理的任务的状态或等待任务处理结束后，才能删除该计算节点。因此，计算节点变动时，管理节点的配置工作量较大，扩展性不够灵活。

同时，为了管理计算节点，管理节点必须与计算节点保持通信。有的方案中采用了长连接 + 心跳报文的模式来管理，有的方案中采用短连接 + 定期通信的机制来管理，这些模式和机制在设计上均较为复杂。

随着分布式系统应用的不断扩展，一些新的技术不断地被开发出来，旨在提高分布式系统的各项性能。例如公开号为CN101236513A的中国专利申请公开了一种分布式任务管理方法，包括以下步骤：任务服务器向任务事务服务器发送任务请求消息；所述任务事务服务器根据记录的各个任务的执行情况，判断所述任务服务器是否可以执行所述任务，并将判断结果发送到所述任务服务器；如果判断结果为是，则所述任务服务器执行所述任务。

再如，公布号为CN102387208A的中国专利公开了一种分布式任务调度方法，包括：任务表分发器向多个任务机发送任务表，其中，所述任务表包括所述多个任务机中每个任务机的定位标识、所述每个任务机对应的任务和所述任务之间的依赖关系表；所述多个任务机分布根据所述任务表中的所述对应的任务以及所依赖关系表确定自身是否为起始任务机；所述起始任务机根据所述任务表执行所述起始任务机所对应的任务；以及在所述对应的任务执行完成后，所述起始任务机根据所述依赖关系表通知所述起始任务机的后继任务机执行相应的任务。

但是，业内仍然期望更为先进的分布式系统中的任务处理方法，希望其相比于现有技术更为简单、高效和灵活。

发明内容

为了至少解决上述问题的一个方面，本发明提出了一种分布式系统中的管理节点处理任务的方法，包括：接收外部的任务请求，将任务存放在所述管理节点的任务缓存器中；当有计算节点连接并请求任务时，将所述任务发送给所述计算节点；以及当所述计算节点发送任务处理结果时，接收所述任务结果。

根据本发明的一个方面，所述分布式系统中的管理节点处理任务的方法中所述接收外部的任务请求的步骤还包括设置所述任务的状态为未执行。

根据本发明的一个方面，所述分布式系统中的管理节点处理任务的方法还包括当所述计算节点连接时，获取所述计算节点的信息，将所述信息存入所述管理节点的节点管理器，并将所述计算节点的状态设置为正常。

根据本发明的一个方面，所述分布式系统中的管理节点处理任务的方法还包括在将所述任务发送给所述计算节点时，记录所述任务执行的起始时刻，并将所述任务的状态修改为执行中。

根据本发明的一个方面，所述分布式系统中的管理节点处理任务的方法还包括在接收所述任务处理结果时，根据所述任务执行的起始时刻、当前时刻以及所述任务的超时时间判断所述任务的执行是否已超时，如果所述任务的执行未超时，将所述任务的状态设置为已完成；如果所述任务的执行已经超时，则不修改所述任务的状态。

根据本发明的一个方面，所述分布式系统中的管理节点处理任务的方法，还包括所述管理节点周期性轮询所述任务缓存器中的任务，对于所有状态为执行中的任务，判断其是否超时，如果超时，将其状态修改为未执行，将其任务执行的起始时刻清空，并将处理该任务的计算节点的状态设置为异常。

根据本发明的一个方面，所述分布式系统中的管理节点处理任务的方法还包括在计算节点的状态被设置为异常的情况下，如果所述计算节点有故障，则修复并重启所述计算节点，否则删除所述节点管理器中所述计算节点的信息。

本发明还提出了一种分布式系统中的计算节点处理任务的方法，包括：连接管理节点，向所述管理节点发送所述计算节点的信息，从所述管理节点接收任务，然后断开和所述管理节点的连接；处理所述任务；以及再连接所述管理节点，向所述管理节点发送所述计算节点的信息，并发送任务处理结果，然后断开和所述管理节点的连接。