[发明专利]分布式计算机数据存储系统中多副本一致性的控制方法

说明书

技术领域

本发明涉及一种分布式计算机数据存储系统中多副本一致性的控制方法，属于计算机数据管理技术领域。

背景技术

在分布式数据存储中，为了提高系统的性能以及可用性，将数据以多副本的形式进行存储已成为一种共识。通过多副本，分布式存储系统可以增加读取数据的I/O带宽，以此提高了系统的性能；当某台(某些)机器宕机时，分布式系统仍然有可能访问到数据的其他副本，以此提高了系统的可用性。现在流行并迅速发展的分布式文件系统以及NoSQL数据库均采用了多副本的策略，如Hadoop的HDFS，Facebook的Cassandra，MongoDB，Hbase，Dynamo等等。

在带来上述益处的同时，多副本之间的数据一致性需要额外的维护代价。数据一致性是指在多副本的分布式数据存储系统中，用户总能读取到最新写入的数据。CAP理论简洁地说明了在当前的分区容忍下，同时保证系统的高度可用性与数据一致性是无法实现的。

现有的分布式数据库系统采取牺牲一定的一致性来保证系统的7*24小时的高可用性。由此给分布式数据管理系统带来了一个新的问题：副本之间的一致性程度如何，以及一致性程度如何进行控制。

发明内容

本发明的目的是提出一种分布式计算机数据存储系统中多副本一致性的控制方法，针对现有的分布式存储系统副本一致性不能直观控制的难题，采用基于队列长度的控制方法，以控制副本的一致性级别，确保分布式存储系统中的数据的多副本之间的最大版本差异能限制在用户允许的范围内。

本发明提出的计算机数据分布式存储系统中多副本一致性的控制方法，包括以下步骤：

(1)记分布式存储系统的节点集合为S，在S中的节点A到节点B的实现通信的转发队列记做SQ_AB，该转发队列能同时进行转发操作的转发操作数量N_SQ_AB，S中节点C的用于执行写请求的执行队列记做MQ_c，该执行队列能同时进行写操作的写操作数量N_MQ_A，记用户期望的分布式存储系统的同一数据项的不同副本间差异度小于k；

(2)对于一个写请求，设定节点A为协调者节点，集合S_A为非协调者节点集合，对于每一个非协调者节点B∈S_A，设定协调者节点A与非协调者节点B实现通信的转发队列SQ_AB的队列长度阈值为L_SQ_AB，协调者节点A的所有转发队列集合为SQ_A，节点A执行写请求的执行队列MQ_A的队列长度阈值为L_MQ_A，其中L_SQ_AB＝α×k×N_SQ_AB，L_MQ_A＝β×k×N_MQ_A，其中α和β取值为任意正整数；

(3)分布式存储系统中的协调者节点A接收到客户端的写请求后，协调者节点A从分布式存储系统中找到存储与该写请求对应的数据副本的所有非协调者节点B∈S_A，协调者节点将该写请求插入到本节点的用于与包含该数据项副本的所有非协调者节点实现通信的转发队列SQ_AB∈SQ_A中，插入过程包括以下步骤：

(3-1)对协调者节点A中用于与非协调者节点实现通信的所有转发队列SQ_AB∈SQ_A的长度分别进行判断，若该转发队列SQ_AB的长度小于该转发队列长度阈值L_SQ_AB，则将写请求插入到该转发队列末尾，等待转发，若该转发队列SQ_AB的长度大于或等于该转发长度阈值L_SQ_AB，则该写请求暂时不进入转发队列，进入阻塞状态，直到转发队列长度小于L_SQ_AB，从阻塞状态转换为工作状态，将写请求插入到该转发队列末尾，等待转发；