[发明专利]一种基于列存储的大数据并行处理系统及方法有效
申请号: | 201310616040.4 | 申请日: | 2013-11-27 |
公开(公告)号: | CN103646051A | 公开(公告)日: | 2014-03-19 |
发明(设计)人: | 郝俊瑞;向智宇;高汉松;唐业祎;郭嘉;许德玮;王静 | 申请(专利权)人: | 武汉邮电科学研究院 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京捷诚信通专利事务所(普通合伙) 11221 | 代理人: | 魏殿绅;庞炳良 |
地址: | 430074 湖*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 一种基于列存储的大数据并行处理系统及方法,涉及大数据处理领域,包括客户端、主控节点和多个数据节点,所述主控节点包括HBase主控制器和SQL主引擎,HBase主控制器负责管理和维护所述数据节点,SQL主引擎负责SQL语句的解析并将SQL语句继续向数据节点进行分发;每个所述数据节点包括HBase分区节点和SQL从引擎,HBase分区节点负责每个数据节点上数据的存储和管理,SQL从引擎负责SQL在该数据节点的解析和执行,主控节点和数据节点均包括HBase表,还分别包括SQL表。本发明适合大规模数据量的环境,提供更完善的结构化关系数据模型的SQL接口。 | ||
搜索关键词: | 一种 基于 存储 数据 并行 处理 系统 方法 | ||
【主权项】:
一种基于列存储的大数据并行处理系统,包括客户端、主控节点和多个数据节点,其特征在于:所述主控节点包括HBase主控制器和SQL主引擎,HBase主控制器负责管理和维护所述数据节点,SQL主引擎负责SQL语句的解析并将SQL语句继续向数据节点进行分发;每个所述数据节点包括HBase分区节点和SQL从引擎,HBase分区节点负责每个数据节点上数据的存储和管理,SQL从引擎负责SQL在该数据节点的解析和执行,主控节点和数据节点均包括HBase表,还分别包括SQL表。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于武汉邮电科学研究院,未经武汉邮电科学研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201310616040.4/,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置