[发明专利]一种基于HBase的实时动态数据管理系统

说明书

本发明提出一种基于HBase的实时动态数据管理系统，包括数据的读取优化、复合索引机制以及并行查询优化。该发明设计基于HDFS和HBase的持久化数据存储机制，解决多结构数据海量存储问题；基于HBase表结构设计复合索引存储模型，实现索引缓存地址的映射管理以及缓存数据存储的索引表设计；基于多源缓冲区结构对数据进行队列划分，实现并行存储，并结合一致性哈希算法、多线程技术、行键优化设计等策略缓解海量数据并发写入压力；基于HBase查询实执行模块与多线技术，设计多查询并行机制，提高查询速度。该发明的基于HBase的实时动态数据管理系统有效提升数据写入与读取性能，解决多结构化数据海量存储，满足高动态、实时性的环境需求。

技术领域

本发明涉及大数据存储、数据搜索领域，具体涉及到一种基于HBase的实时动态数据管理系统。

背景技术

HBase作为基于大数据的数据库对于数据的管理服务效率是非常重要的。

HBase作为底层数据库，首先必须保证对于各类数据的存储效率，以适应不同环境的不同存储需求。如何利用多源缓冲区结构对不同类型的流数据进行队列划分，并结合哪些策略可以将数据并行存储到HBase集群服务器中，从而缓解海量数据与写入并发压力，这是基于HBase的实时动态数据管理系统涉及面临的挑战。其次，HBase的索引机制也不完善，无法满足实时环境的高效查询请求。

HBase的列存储系统的查询优化主要通过使用列存储、数据压缩、直接操作压缩数据、延迟物化、隐形连接等技术来提高查询效率。但其都是基于单线程的查询引擎，不能充分利用多核处理器资源。如何利用多线程技术实现多查询并行化，也给基于HBase的实时动态数据管理系统的设计带来了挑战。

发明内容

为解决现有技术中的缺点和不足，本发明提出了一中基于HBase的实时动态数据管理系统，优化数据存储、查询性能。

本发明的技术方案为：

一种基于HBase的实时动态数据管理系统，数据存储按逻辑划分，分为以文件形式和以HBase表结构形式存储。前者主要针对于结构化的文件；非结构化的数据使用HBase表存储。文件形式的存储包括索引文件和小文件的存储；HBase存储包括高维特征的存储、正排文件存储和缓存数据的存储。索引文件用Lucene对其文本数据建立倒排；正排文件，采用HBase表结构来存储，并存储器TD/IDF值；小文件基于二进制序列化数据流合并为一个大文件。

复合索引存储模型分为两部分：第一部分是基于磁盘的数据存储，使用分布式顺序索引存储模型，实现索引缓存的存储、更新以及地址映射；第二部分是基于内存的索引缓存，利用内存随机访问迅速的特性存储访问频繁的索引数据，使用分布式哈希存储模型，构建索引表以及索引范围表。

利用多源缓冲区结构对不同类型的流数据进行队列划分，并结合一致性哈希算法、多线程技术、行键优化设计等策略将数据并行存储到HBase集群服务器中。HBase并行查询分为四个方面：I/O并行，多查询并行，操作节点并行以及用户并行。并且利用JAVA多线程技术，实现实时流数据多查询并行。

本发明的有益效果：

(1)解决多结构海量数据的存储问题，缓解海量数据并发写入压力，加快多结构海量数据写入写入速度。

(2)优化HBase索引模型设计，优化多查询并行化性能，提高数据查询效率，满足高动态、实施性的数据查询需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明系统逻辑框架图；