[发明专利]一种基于HBase的大表join方法

摘要

本发明提供一种基于HBase的大表join方法，本发明针对HBase的大表join问题，借鉴了分布式大数据表操作常采用的分桶技术，提出一种基于hashcode预分区的方法，该方法充分利用了HBase的数据存储特定，高效的解决HBase多表关联问题。

主权项

一种基于HBase的大表join方法, 其特征在于内容包括1）对表中某列或某几列采用hashcode分桶；2）对各表的分桶数据进行均衡操作；3）实现分布式内存缓存技术，并重写HBase中的scan操作使之完成内存表和磁盘表的对比返回，其中：1）对表中某列或某几列采用hashcode分桶，是将表数据按照某列或某几列的hashcode区分开来，然后采用该hashcode作为起始范围实现region预分区，join操作以region为单位并行进行，利用hbase自身的分区数据存储结构region实现表数据分桶，这样在实现分桶的同时，利用HBase分布式处理数据的能力；2）采用region作为数据表中分桶单位，但HBase均衡各个regionserver节点region的数量不是针对各表的，而是节点中region的总数量，这样就必然导致单表的region在各个节点分布不均匀的情况出现，这样就必然导致单个节点计算量过大拖慢整个计算效率，通过重写HBase的LoadBalancer策略使得各个的region均匀分布到各个节点的regionserver中去；3）实现分布式缓存机制，在join操作的过程中需要将其中一张表放入临时缓存中，以便改写后的scan函数完成两张表的对比join操作；分布式缓存机制采取根据分桶号以region为数据单位分布式存储的缓存机制，该机制利用分桶号将两表对应列存储到同一节点。