[发明专利]一种基于HBase的实时动态数据管理系统在审
| 申请号： | 201811385057.2 | 申请日： | 2018-11-20 |
| 公开（公告）号： | CN109582643A | 公开（公告）日： | 2019-04-05 |
| 发明（设计）人： | 张卫山;任鹏程;房凯 | 申请（专利权）人： | 中国石油大学（华东） |
| 主分类号： | G06F16/13 | 分类号： | G06F16/13;G06F16/182;G06F16/2453;G06F16/2455 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 266580 山*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 数据管理系统 实时动态 复合索引 海量存储 查询 写入 一致性哈希算法 读取 数据存储机制 多线程技术 缓冲区结构 结构化数据 并行存储 并行机制 查询优化 存储模型 读取性能 海量数据 环境需求 缓存数据 结构数据 索引缓存 优化设计 表结构 持久化 高动态 实时性 索引表 映射 多线 多源 行键 队列 并发 并行 存储 缓解 优化 管理 | ||
1.一种基于HBase的实时动态数据管理系统，其特征在于，数据存储按逻辑划分，分为以文件形式和以HBase表结构形式存储。前者主要针对于结构化的文件；非结构化的数据使用HBase表存储。文件形式的存储包括索引文件和小文件的存储；HBase存储包括高维特征的存储、正排文件存储和缓存数据的存储。索引文件用Lucene对其文本数据建立倒排；正排文件，采用HBase表结构来存储，并存储器TD/IDF值；小文件基于二进制序列化数据流合并为一个大文件。
2.如权利1要求所述的基于HBase的实时动态数据管理系统，其特征在于，复合索引存储模型分为两部分：第一部分是基于磁盘的数据存储，使用分布式顺序索引存储模型，实现索引缓存的存储、更新以及地址映射；第二部分是基于内存的索引缓存，利用内存随机访问迅速的特性存储访问频繁的索引数据，使用分布式哈希存储模型，构建索引表以及索引范围表。
3.如权利1要求所述的基于HBase的实时动态数据管理系统，其特征在于，利用多源缓冲区结构对不同类型的流数据进行队列划分，并结合一致性哈希算法、多线程技术、行键优化设计等策略将数据并行存储到HBase集群服务器中。
4.如权利1要求所述的基于HBase的实时动态数据管理系统，其特征在于，HBase并行查询分为四个方面：I/O并行，多查询并行，操作节点并行以及用户并行。并且利用JAVA多线程技术，实现实时流数据多查询并行。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国石油大学（华东），未经中国石油大学（华东）许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201811385057.2/1.html，转载请声明来源钻瓜专利网。
