[发明专利]基于批处理和流水线的分层数据一致性协议优化方法

说明书

本发明提供了一种基于批处理和流水线的分层数据一致性协议优化方法，包括以下步骤：S1、客户端判断待发送请求数是否大于0，如果是，则进入下一步骤，如果否，则结束；S2、客户端向随机节点发送请求；S3、当节点接收到请求后，转发给其他所有节点；S4、当其他节点收到转发请求后，保存当前请求和请求ID，并向其他所有节点发送只包含请求ID的确认消息；S5、如果对某一个请求ID接收到超过半数的节点的确认信息，则认为该请求已经被多数节点接收，处于可排序状态。本发明的有益效果是：能够有效降低Multi‑Paxos协议中领导者节点资源消耗，同时保证较高的系统性能并且易于工程实现。

技术领域

本发明涉及分布式存储，尤其涉及分布式存储中一种基于批处理和流水线的分层数据一致性协议优化方法。

背景技术

信息技术的发展推动着时代的变革，新一代通信技术、新型计算模式的演进加深了科学研究、商业应用、日常生活等各个应用领域的信息化程度。大数据时代的到来和数据的爆炸性增长，如何高效、可靠地存储海量数据成为了一项极具挑战性的工作。传统的单一节点的集中式存储系统已经不能满足需求，越来越多的公司采用分布式存储系统。与集中式存储系统相比，分布式存储系统具有可避免单点故障，降低成本和高可扩展性等优点。

实现分布式系统的基本操作是数据复制。数据复制是指在可能分布于多个机架、机房、区域范围内甚至全球范围数据中心的不同服务器上对某个对象进行多份相同的拷贝。地域上的复制通过在不同的地理区域中复制冗余数据可以在全球范围内实现数据持久化、容错和容灾等功能。通过复制可以实现数据的高可用性、可扩展性以及实现快速响应。在全球范围服务和应用的时代，复制是解决大数据挑战的必需。

伴随着分布式存储系统中的复制产生的一个重要问题是如何保证副本间的数据一致性。分布式系统的数据一致性是指数据在多个副本之间能否保持一致的特性。即能够保证节点互通的情况下从各个节点请求到的数据必须是一致的，同时外部请求对数据做出修改时，各个节点之间也必须同步。

如果分布式系统没有做好一致性保证，那么当用户访问不同副本中同一个数据，得到的结果就会不一致，导致系统中的数据不可靠。对于金融或者一些其他的对数据的可靠性要求高的行业来说，数据一致性的要求更为必要。

目前能够同时保证较好的可靠性和可用性的分布式存储系统数据复制方式是状态机复制。它通常是基于复制日志实现的，每一个服务器存储一个包含一系列指令的日志，并且按照日志的顺序进行执行。保证复制日志相同是通过一致性算法来实现。就算有些服务器会宕机，一旦指令被正确的复制，每一个服务器的状态机按照日志顺序处理他们，就会输出结果返回给客户端。因此，服务器集群就形成了一个高可靠的状态机。也就是说，状态机复制的内部实现是通过一致性协议来保证各个节点达成一致的执行顺序。

在分布式领域为了解决数据的一致性问题，已经有很多研究者提出了不同的一致性协议，其中比较有代表性的有二阶段提交、三阶段提交、Paxos协议以及Raft协议。Google分布式一致性库Chubby的作者曾总结到，所有的分布式一致性算法都是Paxos协议的一个不完备版本。近些年来提出的分布式一致性算法如ZAB协议、Raft协议等都是在Multi-Paxos的思想上加以改进的。这个观点强调了Paxos协议在分布式一致性协议中的重要地位。因此，针对Paxos协议的改进算法也有很多。

其中，研究如何解决领导者节点为中心的协议的节点瓶颈问题是近几年对Paxos的研究比较热门的方向之一。在以领导者为中心的分布式一致性协议中，如Multi-Paxos协议、Raft协议、ZAB协议等，领导者节点的资源消耗明显大于普通节点。当负载提高时，领导者节点最先消耗完节点资源成为系统瓶颈。针对这一问题，很多研究者提出了不同的优化方案：

a)Mencius Mencius为了避免领导者节点成为瓶颈，使用了一种轮转Leader的机制。这样可以实现负载在所有节点上的有效均衡，但是Mencius的一个明显缺点是：容错性很差，任意节点出现故障，都会使系统无法对外提供服务。