[发明专利]一种时序数据库多数据副本的同步方法、系统以及服务器

说明书

本发明属于分布式数据库技术领域，公开了一种时序数据库多数据副本的同步方法、系统以及服务器，该同步方法包括：数据写入步骤，将数据的数据副本分别写入N个副本存储节点中，并且当数据副本写入副本存储节点成功时，记录成功信息的成功数量M递增1；数据副本一致性校验步骤，将数据副本的数据摘要进行两两比对，数据摘要一致的，则认为两个数据副本之间的数据是一致的；修复步骤，确定数据副本两两之间的不一致的数据，生成补丁包，并使用补丁包修复待修复的数据副本。本发明的优点在于采用数据多副本同时写，异步获取写入成功状态的方式，使用这种方式可以提供最高效的写入速率，同时通过异步的数据对比和修复实现数据多副本的最终一致性。

技术领域

本发明涉及分布式数据库技术领域，尤其涉及了一种时序数据库多数据副本的同步方法、系统以及服务器。

背景技术

在分布式存储场景上，为保证数据的可靠性，一般采用多副本存储数据。而多副本数据的一致性问题一般使用基于Raft或Paxos协议的一致性解决方案或基于主从架构方式的一致性解决方案。

在多副本写入的场景上，基于Raft或Paxos协议的一致性解决方案需要保证大多数副本完成写入后才会返回给客户端成功，可以保证大多数数据在写入时既保证多副本的一致性，而少量数据的不一致的则通过读取时比对版本进行修复。如Tidb、阿里云Influxdb集群都采用此种方式。但是该方案一方面要求额外的控制逻辑来保证副本之间的Raft角色状态，当出现副本失效不可用时，需要重新修复状态；另一方面在每一次写入时都要确保至少半数以上的节点写入成功，随着副本数量的增多，单次写入耗时将层线性增加，而在网络出现分区或延时等场景时，将会导致整个写入操作的耗时不可控，整个集群的写入吞吐降低。

基于主从架构方式的一致性解决方案中，多副本之间存在主从关系，数据的写入全部写入主节点，读取可以从主从节点读取，主从节点之间采用同步、半同步或异步方案进行数据的。如MySQL主从架构，Redis主从架构等都采用此种方式。但是该方案也要求额外的逻辑来维护主从角色关系，在出现主库异常时，切换主从角色。此外，在.写入时若使用异步状态则只需要保证数据写入主节点即可，从节点可以异步读取消息日志进行异步消费，但该场景下若主节点出现性能问题或网络延时增大等场景，在未触发主从切换的条件下仍然会带来大量的写入延时与吞吐量下降；而同步或半同步情况则会产生与Raft协议相同的分区异常问题。主从之间的数据同步仍然需要额外的同步逻辑支持，同时也不能保证同步逻辑完全有效不产生数据点异常或丢失的场景，仍然需要进一步进行数据比对。

但是，将分布式数据库按功能进行细分后，常见的关系型数据库的功能已已无法满足对时间序列数据的有效存储与处理。

时序数据库全称为时间序列数据库。时间序列数据库主要用于指处理带时间标签(按照时间的顺序变化，即时间序列化)的数据，带时间标签的数据也称为时间序列数据。时间序列数据的典型特点是：产生频率快(每一个监测点一秒钟内可产生多条数据)、严重依赖于采集时间(每一条数据均要求对应唯一的时间)、测点多信息量大(常规的实时监测系统均有成千上万的监测点，监测点每秒钟都产生数据，每天产生几十GB的数据量)。

基于上述时间序列数据的特点，虽然同为分布式存储，关系型数据库已无法满足对时间序列数据的有效存储与处理，因此迫切需要一种专门针对时间序列数据来做优化的数据库系统，因此需要开发一种新的解决方案，来提高多副本数据的一致性。

发明内容

为了解决上述缺陷，本发明提供一种时序数据库多数据副本的同步方法，包括如下步骤：

数据写入步骤，确定需要的数据副本的个数N，将所述数据的数据副本分别写入N个副本存储节点中，并且当所述数据副本写入所述副本存储节点成功时，记录所述成功信息的成功数量M递增1；

数据副本一致性校验步骤，将所述数据副本的数据摘要进行两两比对，所述数据摘要一致的，则认为两个所述数据副本之间的数据是一致的；