[发明专利]一种基于HBase的实时动态数据管理系统在审
| 申请号： | 201811385057.2 | 申请日： | 2018-11-20 |
| 公开（公告）号： | CN109582643A | 公开（公告）日： | 2019-04-05 |
| 发明（设计）人： | 张卫山;任鹏程;房凯 | 申请（专利权）人： | 中国石油大学（华东） |
| 主分类号： | G06F16/13 | 分类号： | G06F16/13;G06F16/182;G06F16/2453;G06F16/2455 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 266580 山*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提出一种基于HBase的实时动态数据管理系统，包括数据的读取优化、复合索引机制以及并行查询优化。该发明设计基于HDFS和HBase的持久化数据存储机制，解决多结构数据海量存储问题；基于HBase表结构设计复合索引存储模型，实现索引缓存地址的映射管理以及缓存数据存储的索引表设计；基于多源缓冲区结构对数据进行队列划分，实现并行存储，并结合一致性哈希算法、多线程技术、行键优化设计等策略缓解海量数据并发写入压力；基于HBase查询实执行模块与多线技术，设计多查询并行机制，提高查询速度。该发明的基于HBase的实时动态数据管理系统有效提升数据写入与读取性能，解决多结构化数据海量存储，满足高动态、实时性的环境需求。 | ||
| 搜索关键词： | 数据管理系统 实时动态 复合索引 海量存储 查询 写入 一致性哈希算法 读取 数据存储机制 多线程技术 缓冲区结构 结构化数据 并行存储 并行机制 查询优化 存储模型 读取性能 海量数据 环境需求 缓存数据 结构数据 索引缓存 优化设计 表结构 持久化 高动态 实时性 索引表 映射 多线 多源 行键 队列 并发 并行 存储 缓解 优化 管理 | ||
【主权项】：
1.一种基于HBase的实时动态数据管理系统，其特征在于，数据存储按逻辑划分，分为以文件形式和以HBase表结构形式存储。前者主要针对于结构化的文件；非结构化的数据使用HBase表存储。文件形式的存储包括索引文件和小文件的存储；HBase存储包括高维特征的存储、正排文件存储和缓存数据的存储。索引文件用Lucene对其文本数据建立倒排；正排文件，采用HBase表结构来存储，并存储器TD/IDF值；小文件基于二进制序列化数据流合并为一个大文件。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国石油大学（华东），未经中国石油大学（华东）许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811385057.2/，转载请声明来源钻瓜专利网。
