[发明专利]基于键值模型、文档模型和图模型的分布式高速存储方法

说明书

本发明涉及一种基于键值、文档和图数据的分布式高速存储方法，其中，包括：从数据库或其它数据源获取键值、文档和图数据；对于数据进行分布式管理和数据分区，包括：数据存储到内存中，若收到查询和计算请求，应用程序从内存中查询数据，并在内存中进行计算；若原有管理节点离开集群，将在原有管理节点之前加入集群后最先加入集群的节点设为新的管理节点，新的管理节点再广播，进行数据迁移和分区表更新，若有普通节点新加入或离开集群，管理节点广播，再进行数据迁移和分区表更新。本发明分布式框架支持弹性扩展，数据自动均衡。增加集群节点数可以线性扩展高速存储空间和数据量。

技术领域

本发明涉及数据存储技术，特别涉及基于键值模型、文档模型和图模型数据的分布式高速存储方法。

背景技术

为应对大数据规模庞大、类型复杂、爆发式增长等问题，数据库从传统的关系型数据库(RDMS)发展到非关系型(NoSQL)数据库。NoSQL不是某一个特定的数据库，而是一类数据库的集合，代表着一种新的与传统关系型数据库完全不同的数据库类型。NoSQL提倡运用非关系型的数据存储，不需要固定的表结构，通常也不存在连接操作，根据数据类型的不同，NoSQL被划分为多种模型，包括、键值(Key-Value)数据库(例如Redis，RocksDB等)、文档(Document)数据库(例如MongoDB，Couchbase)、图(Graph)数据库(例如Neo4j，Giraph)等，不同的数据模型采用的不同存储方法，且适用于不同的应用场景。

现有的大数据应用通常需要同时访问多种模型的数据，单模型数据库无法满足多模型数据的管理和访问需求。多模型数据库可以统一管理多种模型的数据，具有良好的可扩展性以支持上层应用，可以实现各模型数据库之间的数据一致性，是数据库系统发展的趋势。虽然多模型数据库可以融合多种数据模型，并为上层应用提供统一语言的查询接口，但是存在数据结构复杂、数据存取效率低等问题，难以支撑高实时的大数据应用数据处理。

中国专利202010883469.X，一种键值模型、文档模型和图模型数据的统一存储方法，可以通过键值模型到文档模型的映射和图模型到文档模型的映射，实现了键值模型、文档模型和图模型的统一存储和访问。具体是设计Class类支持键值模型和文档模型存储和访问，设计Vector和Edge子类以支持图模型存储和访问，通过继承关系实现了Vector和Edge类的实例化对象顶点表和边表，最终支持三种数据模型。

多模型数据库技术解决了键值、文档和图模型数据的统一存储和访问问题。该类型数据库一般都使用了数据持久化技术，数据保存在磁盘上，以保证数据库所在服务器关机后数据不丢失，但在服务器运行时，数据库通过磁盘读取数据的时间延迟，比从内存中读取数据高得多。该类型数据库一般都支持SQL解析功能，SQL解析存在额外开销，增加了读写数据的时间延迟。该类型数据库一般都支持事务管理和并发访问的隔离机制，增加了读取数据的时间延迟。该类型数据库一般都支持数据分片和副本冗余技术，为了保证数据的一致性，增加了读写数据的时间延迟。

发明内容

本发明涉及一种基于键值、文档和图数据的分布式高速存储方法，用于解决上述现有技术的问题。

本发明一种基于键值、文档和图数据的分布式高速存储方法，其中，包括：从数据库或其它数据源获取键值、文档和图数据；对于数据进行分布式管理和数据分区，包括：数据存储到内存中，若收到查询和计算请求，应用程序从内存中查询数据，并在内存中进行计算；若原有管理节点离开集群，将在原有管理节点之前加入集群后最先加入集群的节点设为新的管理节点，新的管理节点再广播，进行数据迁移和分区表更新，若有普通节点新加入或离开集群，管理节点广播，再进行数据迁移和分区表更新。

根据本发明所述的基于键值、文档和图数据的分布式高速存储方法的一实施例，其中，键值数据主要来自Redis和RocksDB数据库，文档数据来自MongoDB和Couchbase数据库，图数据来自Neo4j和Giraph数据库。