[发明专利]一种分布式图数据库多节点数据一致性实现方法和系统

说明书

本发明涉及一种分布式图数据库多节点数据一致性实现方法和系统。该方法对分布式图数据库的节点数据做快照备份，通过快照备份对分布式图数据库的日志进行压缩；利用压缩后的分布式图数据库的日志，对分布式图数据库进行节点间增量数据同步；新节点进行数据同步时加载快照备份，快照备份时间点之前的日志操作不用重新执行，只需同步快照备份时间点之后的日志，以快速地保持和其他节点的数据一致性。该系统包括日志管理模块、快照管理模块和节点启动数据同步模块。本发明通过快照和日志相结合的方式，能很好的对日志进行压缩，新节点也能够快速加入集群提供服务，在提升分布式图数据库系统性能方面获得了显著效果。

技术领域

本发明涉及分布式系统、图数据库，数据传输与存储领域，提出一种分布式图数据库多节点数据一致性方法及对该方法的系统实现。

背景技术

随着互联网在各行各业的深入应用，分析事物关联关系的需求逐渐涌现，如果使用关系数据库进行关联分析，会进行大量连接操作，为高效处理海量复杂数据之间的关联操作，图数据库应运而生。由于单机能力有限，海量数据要求图数据库分布式化。图数据库分布式化带来的一个重要问题就是保持分布式多节点之间数据一致性，以保证从不同节点进行读写数据的正确性。目前通用的保持分布式图数据库数据一致性方法是通过在各节点同步日志，然后各节点执行日志操作以保持数据一致。但是这种方式有明显的问题，随着分布式图数据库系统产生的日志量越来越多，日志的管理代价也呈线性增长趋势，新节点加入集群提供服务也会由于要同步大量历史日志，导致准备时间变长，浪费系统资源。

快照技术，是对数据库某个时间点系统状态做完全备份的技术。研究快照和日志相结合的技术能对日志进行一定程度的压缩，能较好的解决由于分布式图数据库系统日志量过大导致的一系列问题。

发明内容

本发明的目的在于提供一种分布式图数据库多节点数据一致性实现方法及对该方法的系统实现。

本发明的技术方案为：

一种分布式图数据库多节点数据一致性实现方法，包括以下步骤：

对分布式图数据库的节点数据做快照备份，通过快照备份对分布式图数据库的日志进行压缩；

利用压缩后的分布式图数据库的日志，对分布式图数据库进行节点间增量数据同步。

进一步地，所述对分布式图数据库的节点数据做快照备份，通过快照备份对分布式图数据库的日志进行压缩，包括：

在某个时间点对分布式图数据库的节点数据做快照备份，快照备份的数据代表该时间点以前所有日志操作执行的最终结果；

保存该快照备份，并将该快照备份的时间点以前的所有日志记录舍弃，以减少要记录的日志量。

进一步地，利用快照备份和快照备份时间点之后的日志，对新节点进行快速数据同步；所述新节点加载快照备份，快照备份时间点之前的日志操作不用重新执行，只需同步快照备份时间点之后的日志，以快速地保持和其他节点的数据一致性。

进一步地，所述快照备份的每次保存都有一个版本号，用于标识不同时间点做的快照备份，版本号越大表示快照备份的时间点越新，压缩的日志记录也越大；做快照备份的同时对日志文件记录一个索引值index，该index指向做快照时间点执行完的最后一条日志操作。

进一步地，节点启动时采用以下步骤进行数据同步：

从其他正常服务节点获取快照版本号并与自己本地的快照版本号进行比较，如果本地版本号低于其他节点的版本号，则调用rpc服务，从其他节点下载最新版本快照和对应的日志文件；如果版本号相同，则使用本地快照和对应的日志文件；

将快照加载到数据库，同时读取日志文件，获取index记录，将index之后的操作执行一遍，执行完后，该节点即和集群内其他节点保持了数据一致性。