[发明专利]一种基于分布式KV数据库的离线存储系统

说明书

本发明公开了一种基于分布式KV数据库的离线存储系统，本发明包括客户端和服务端，所述服务端包括元数据中心和离线存储中心，所述离线存储中心包括若干数据节点。本发明提供了一种基于固态硬盘存储的分布式KV数据库的离线存储系统，本发明系统实现了高性能的数据查询和写入，提供了分片式的存储机制，可以自适应的负载均衡数据迁移，对运维的压力较小，数据库扩容时几乎可以不需人力介入，大大降低了后期的数据库的改造成本。

技术领域

本发明涉及数据库技术领域，具体地说是一种分布式KV数据库系统。

背景技术

随着互联网的发展，互联网数据规模的不断扩大，很多情况下传统的数据库已经无法满足互联网企业的需求，Hadoop HDFS的出现以及一些NoSQL数据库的诞生等解决了海量数据存储查询的需求，但是市面上大部分NoSQL数据库，如Redis、MongoDB数据库因为内存依赖比较严重，无法做到低成本的快速扩容，随着固态硬盘技术的成熟，在随机IO读写能力上大幅度提升，因此一些基于固定硬盘的存储引擎出现了，Google的LevelDB和FaceBook的RockSDB，还有AeroSpike等以SSD存放数据为主的存储引擎出现了，因为固态硬盘作为存储相对于内存存储成本更低，因此可以通过固态硬盘较小的IO延迟来做到更廉价的扩容。Mola一个分布式存储引擎采用Key-Value存储形式，适用于可扩展性强、访问并发性强的业务，如果使用Mola进行存储，由于底层采取comdb进行存储造成资源浪费严重，另外mola的组件过于复杂，相关依赖的模块有十几个组件，因此给数据库运维工程师们造成了极大的运维压力与运维困难。因此在现有环境下需要一个低成本的基于固态硬盘存储的分布式KV数据库进行离线存储。

发明内容

本发明的目的是针对以上不足，提供一种基于分布式KV数据库的离线存储系统，采用低成本的固态硬盘的存储的方式，降低数据库的复杂程度，降低运维困难程度。

本发明所采用技术方案是：

一种基于分布式KV数据库的离线存储系统，包括客户端和服务端，所述服务端包括元数据中心和离线存储中心，所述离线存储中心包括若干数据节点，其中：

所述元数据中心用于保存集群的元数据，且提供集群元数据管理分发；

所述离线存储中心用于集群数据的离线存储，且通过分布式存储的方式存储在每个数据节点中；

元数据中心和离线存储中心均与客户端建立通讯链接，客户端先从元数据中心获取访问数据库所需的元数据，再通过获取的元数据与离线存储中心进行通信，访问数据，离线存储中心之间的数据节点之间也存在通讯连接；

所述离线存储中心与Hadoop的HDFS之间建立有通讯链接，通过数据下载器定时监听HDFS的数据目录，下载最新的数据文件到离线存储中心的数据库中。

作为进一步的优化，本发明所述数据节点的存储架构包括接口层、缓存层和存储层，其中：

所述接口层用于建立外部连接，包括与客户端的连接、与其他数据节点之间的连接和与原数据中心的连接；

所述缓存层用于数据库的读取缓存，提升数据返回速度，降低磁盘读盘次数；

所述存储层用于进行数据离线存储。

作为进一步的优化，本发明还配置有离线存储检索引擎，所述离线存储检索引擎的离线存储的只读索引在外部对key进行排序，组织成树形索引，树形索引中叶子节点为内容，索引文件通过4K进行内存对齐。