[发明专利]HBase数据实时同步到QianBase MPP的方法

说明书

本发明公开了一种HBase数据实时同步到QianBase MPP的方法，属数据库实时同步领域，获取HBase数据库中的Snapshot元数据与真实的Snapshot数据，以及HBase数据库中WAL的变化数据，然后将其转换为QianBase MPP数据库所支持的数据格式。按照对应关系将转换得到的QianBase MPP数据文件发送至对应的Segment中。通过使用HBase快照与WAL预写日志相结合的方式将数据从HBase数据库实时同步至QianBase MPP数据库中，同步过程中不会受到HBase Compaction以及热点问题的影响，也避免了数据写入必须经过QianBase MPP Master带来的性能损耗，使得数据库同步的服务器在在易用性和性能上均有了明显的提升。

技术领域

本发明涉及数据库实时同步领域，更具体的说，本发明主要涉及一种HBase数据实时同步到QianBase MPP的方法。

背景技术

QianBase MPP是一个面向数据仓库应用的关系型数据库，在数据存储、高并发、高可用、线性扩展、反应速度、易用性和性价比等方面优势突出。数据库架构包括三层，分别为客户端服务层、SQL数据库服务层和存储引擎层。第一层是应用程序所在的客户端服务层。应用程序可以由用户编写或通过第三方ISV工具/解决方案实现。您能使用QianBase提供的Windows或Linux客户端驱动、通过标准ODBC/JDBC接口访问QianBase数据库服务层。QianBase支持type2JDBC、type4JDBC和ADO.NET驱动程序。根据特定的需求（响应时间、连接数量、安全要求和其它因素），您可以选择合适的驱动程序类型。第二层是SQL数据库引擎层。该层包括所有QianBase服务，封装了所有管理QianBase对象和高效执行SQL数据库请求的服务。服务包括连接管理、SQL语句编译和创建最优执行计划、SQL执行（串行和并行）、事务管理和工作负载管理。第三层是存储引擎层，包括QianBase使用的标准Hadoop服务（HDFS和Zookeeper）。QianBase对象存储在原生Hadoop数据库结构中，包括HBase、缓存文本文件与键值序列文件。QianBase处理从应用程序传来的SQL请求，并将这些请求透明地转换成底层数据格式所需的原生接口调用。QianBase在HBase之上提供了关系型schema抽象，所以，QianBase能通过使用熟悉的DDL/DML语法（对象命名、列定义和数据类型支持）支持传统关系型数据库对象（表、视图、二级索引）。另外，QianBase还支持将HBase和Hive的原生表作为QianBase的外表。

HBase 是一个面向列式存储的分布式数据库。当需将HBase中的数据同步到QianBase MPP中时，主流方式都是调用HBase API读取HBase数据再使用JDBC的方式将数据写入到QianBase MPP。HBase实时同步方案在获取HBase数据时普遍调用HBase提供的API，角色为HBase的客户端。在极端状况下如果所有的读申请都落在一台RegionServer的某几个Region上，可能会造成此台RegionServer资源重大耗费（比方IO耗尽、handler耗尽等），该台RegionServer上的其余业务会受到很大的波及。HBase的LSM构造会导致每个Store蕴含少数HFile文件，文件越多，检索所需的IO次数必然越多，读取效率随之降低。当小文件过多时会触发Compaction，影响甚至阻塞客户端进行数据读取。数据提交到QianBase MPP时多是调用JDBC的方式。当数据库连接使用不当时会造成数据库资源浪费，影响数据库的性能。数据写入QianBase MPP时都必须先连接到Master，然后Master再把数据分发至各个Segment，在某些对时效性有要求的场景下会产生瓶颈。

发明内容

本发明的目的之一在于针对上述不足，提供一种HBase数据实时同步到QianBaseMPP的方法，以期望解决同类数据同步方式容易造成服务器资源重大耗费，且在某些对时效性有要求的场景下会产生瓶颈等技术问题。

为解决上述的技术问题，本发明采用以下技术方案：