[发明专利]一种针对混合型大数据处理系统的数据交互分析方法

摘要

本发明公开了一种针对混合型大数据处理系统的数据交互分析方法，属于大数据分析技术领域，混合型大数据处理系统是基于HBase数据库及基于内存计算引擎的Hive系统构建，交互查询sql语句由客户端发出，包括针对Hive表和HBase表的join操作，其特征在于采用bucketjoin方法进行数据交互，bucketjoin方法包括数据准备过程和运行时执行过程。本发明通过分桶、coprocessr和mapjoin的方式,大大提高了跨Hive和HBase系统的关联分析性能，能够满足行业大数据针对混合处理系统的交互分析业务应用需求。

主权项

一种针对混合型大数据处理系统的数据交互分析方法，混合型大数据处理系统是基于HBase数据库及基于内存计算引擎的Hive系统构建，交互查询sql语句由客户端发出，包括针对Hive表和HBase表的join操作，其特征在于采用bucket join方法进行数据交互，bucket join方法包括数据准备过程和运行时执行过程；数据准备过程：建立Hive表并按关联字段join_key分桶，按分桶导入数据，显式的设置参与分桶的reduce数与分桶数n相同，按照hashCode=join_key % n将数据分别存入n个桶文件；建立hbase表并导入数据，hbase的主键除了表的key外，在key之前连接join_key的hashCode；运行时执行过程：客户端Driver解释sql语句，编译执行计划，在客户端构造内存空间、线程池用于驱动执行的运行时环境。