[发明专利]一种弹性的分布式强一致性方法及系统

说明书

本发明提供了一种弹性的分布式强一致性方法及系统，该方法应用于一集群中，集群包括若干数据处理节点，数据处理节点包括状态节点和非状态节点，状态节点用于当接收到客服端发送的请求时，分配非状态节点运作，以缓解状态节点的工作负载，完成横向扩展，具体的，获取预设时间内的客服端发送的请求计数，并判断请求计数是否大于预设请求数量，若是，则根据请求计数，租用竞价实例，竞价实例作为非状态节点服务于集群，由于该方法中引入了两种不需要维持状态的节点，这两种状态的节点可以失败、可以不可靠，因为它们的失败不会影响整个系统的正确性，所以可以选择全球地理分布的廉价节点，从而在解决性能瓶颈的同时兼顾了成本。

技术领域

本发明属于分布式系统的技术领域，具体涉及一种弹性的分布式强一致性方法及系统。

背景技术

随着云时代的来临，大数据也吸引了越来越多的关注，大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

一般情况下，会采用分布式系统对数据进行处理，其中，分布式系统常使用Raft算法来保证软件/系统组件之间的共识，但随着工作负载上升，必须提高系统的数据处理性能，通常采取的办法为在原Raft算法的基础上垂直扩展，即通过在Leader节点上增加更多的CPU、内存和硬盘等来增强Leader节点的能力，从而容忍更高的工作负载，但该方法的缺点在于无法为一个节点无限制提高性能，或者，采用Multi-Raft算法的方案，该方案将数据拆分给每个Raft服务，Raft相互独立，处理自己的工作。这些Raft的Leader相互通信，从而保持一致性，但是这种使用横向扩展来解决Leader节点瓶颈方法的代价使资源占用翻倍，而且Multi-Raft算法需要稳定的服务器来保证系统的稳定，只能租赁昂贵的按需实例，所以也无法兼顾成本。

可以看出，以上方法无法做到在保证分布式系统平稳运行的情况下兼顾成本，为此，亟需一种方法解决上述问题。

发明内容

基于此，本发明实施例当中提供了一种弹性的分布式强一致性方法及系统，旨在解决现有技术中，使用Raft算法的分布式系统中，无法在解决性能瓶颈的同时兼顾成本的问题。

本发明实施例的第一方面提供了一种弹性的分布式强一致性方法，应用于一集群中，所述集群包括若干数据处理节点，所述数据处理节点包括状态节点和非状态节点，所述方法包括：

获取预设时间内的客服端发送的请求计数；

判断所述请求计数是否大于预设请求计数；

若是，则根据所述请求计数，租用竞价实例，所述竞价实例作为所述非状态节点服务于所述集群，其中，所述状态节点用于当接收到客服端发送的写请求或读请求时，分配所述非状态节点运作，以缓解所述状态节点的工作负载。

进一步的，所述请求计数至少包括读请求计数和写请求计数，所述状态节点包括领导者节点、候选者节点以及追随者节点，所述非状态节点至少包括秘书节点和观察者节点。

进一步的，所述领导者节点用于接收和处理客服端发送的所述写请求，所述领导者节点用于接收和处理客服端发送的所述写请求，所述秘书节点用于分担所述领导者节点的所述写请求，所述追随者节点用于接收和处理客服端发送的所述读请求，以及所述秘书节点发送的所述写请求，所述观察者节点用于分担所述追随者节点发送的所述写请求和所述读请求。

进一步的，所述根据所述请求计数，租用竞价实例的步骤之后包括：

通过所述追随者节点，获取对应的第一领导者节点的心跳，并判断在预设时间内，所述心跳是否终止；

若是，将所述追随者节点转变为所述候选者节点，并发起选举；

获取选票数量，判断所述选票数量是否大于预设选票数量；