[发明专利]分布式系统数据处理方法及装置

说明书

本申请公开了分布式系统数据处理方法及装置，其中所述方法包括：步骤A，分布式系统的领导服务器接收来自客户端的更新日志请求；步骤B，所述领导服务器响应于接收到更新日志请求，将所述更新日志请求发送给群众服务器并自我本地更新日志信息；重复步骤A‑B直到所述领导服务器接收到第一数量的群众服务器发送的更新完成信息为止；响应于确定第一数量的群众服务器完成日志更新，另起一线程处理提交给状态机的操作；所述领导服务器返回执行步骤A。本发明可提高分布式系统的性能。

技术领域

本申请涉及电数字数据处理领域，尤其涉及分布式系统数据处理方法及装置。

背景技术

随着计算机技术的发展和数据规模越来越大，分布式系统被越来越多地应用于大型网站架构和云计算系统中，以更好地处理大规模数据的分析与存储问题。在分布式系统中，通常有很多服务器节点，在收到客户端发来的数据写入请求时，需要确保所有服务器节点都正确地更新数据，即多个服务器的状态达成一致。然而，在一个分布式系统中，有可能发生各种意外，例如服务器网络异常或服务器崩溃等，该服务器就无法与其它服务器达成一致了。分布式系统中的一个非常重要的内容就是如何处理数据一致性问题，即多个节点间如何保障数据一致。业界一种典型的方案是采用raft算法来实现数据一致性，但是该算法实现的一致性系统性能并不够好。

发明内容

为了克服现有技术中存在的不足，本发明要解决的技术问题是提供一种分布式系统数据处理方法及装置，其提供更加高效的分布式一致性系统。

为解决上述技术问题，本发明的分布式系统数据处理方法，包括：

步骤A，分布式系统的领导服务器接收来自客户端的更新日志请求；

步骤B，所述领导服务器响应于接收到更新日志请求，将所述更新日志请求发送给群众服务器并自我本地更新日志信息；

重复步骤A-B直到所述领导服务器接收到第一数量的群众服务器发送的更新完成信息为止；

响应于确定第一数量的群众服务器完成日志更新，另起一线程处理提交给状态机的操作；

所述领导服务器返回执行步骤A。

作为本发明所述方法的改进，所述步骤B包括：所述领导服务器响应于接收到更新日志请求，缓存所接收的更新日志请求并自我本地更新日志信息；响应于确定缓存的更新日志请求的数量达到预定阈值，将缓存的更新日志请求批量发送给群众服务器。

作为本发明所述方法的另一种改进，所述方法还包括：所述状态机处理完成后将结果返回给所述客户端。

作为本发明所述方法的进一步改进，所述第一数量为群众服务器的数量的一半与全部之间的任意值。

作为本发明所述方法的另一进一步改进，所述预定阈值根据所述分布式系统的性能进行调整。

作为本发明所述方法的又一改进，所述方法还包括：所述领导服务器维护一个表示下一个给群众服务器发送的日志信息的位置的变量；响应于所述领导服务器给群众服务器发送了一批日志后，直接更新所述变量的值，并立刻缓存并发送后面的日志信息。

为解决上述技术问题，本发明的分布式系统数据处理装置，包括：

接收模块，用于分布式系统的领导服务器接收来自客户端的更新日志请求；

发送及更新模块，用于所述领导服务器响应于接收到更新日志请求，将所述更新日志请求发送给群众服务器并自我本地更新日志信息；

循环模块，用于重复接收模块与发送及更新模块的操作直到所述领导服务器接收到第一数量的群众服务器发送的更新完成信息为止；

另起线程模块，用于响应于确定第一数量的群众服务器完成日志更新，另起一线程处理提交给状态机的操作；