[发明专利]Hive增量数据同步方法、装置、计算机设备和存储介质

权利要求书

1.一种Hive增量数据同步方法，其特征在于，所述方法包括：

确定与Hive对应的Hbase；

获取所述Hive中的第一映射表以及所述Hbase中的第二映射表，所述第一映射表和所述第二映射表在字段名称和字段类型上相互关联；

通过所述Hbase中API将增量数据写入Hbase，所述增量数据为需增量至所述Hive中的数据；

根据所述第一映射表、所述第二映射表以及更新后的Hbase，同步Hive增量数据。

2.根据权利要求1所述的方法，其特征在于，所述获取所述Hive中的第一映射表以及所述Hbase中的第二映射表包括：

在Hive中创建第一映射表；

调用Hbase API，在Hbase中创建与所述第一映射表关联的第二映射表。

3.根据权利要求1所述的方法，其特征在于，所述获取所述Hive中的第一映射表以及所述Hbase中的第二映射表包括：

在Hive中创建hivetable表，并且在Hbase中创建hbasetable表；

关联映射所述hivetable表与所述hbasetable表的表名、所述hivetable表中rowkey字段与所述hbasetable表中行键key以及所述hivetable表中列字符串与所述hbasetable表中列字符串；

建立所述Hive与所述Hbase之间通信。

4.根据权利要求1所述的方法，其特征在于，所述通过所述Hbase中API将增量数据写入Hbase之前，还包括：

识别所述增量数据的类型；

所述通过所述Hbase中API将增量数据写入Hbase包括：

调用所述Hbase中与所述增量数据的类型对应的API将增量数据写入Hbase底层数据。

5.根据权利要求4所述的方法，其特征在于，所述调用所述Hbase中与所述增量数据的类型对应的API将增量数据写入Hbase底层数据包括：

若所述增量数据的类型为新增时，则调用所述Hbase中数据添加功能的API，将所述增量数据添加；

若所述增量数据的类型为更新，则通过Hbase rowkey对所述增量数据更新；

若所述增量数据类型为删除，则通过Hbase rowkey进行删除。

6.根据权利要求1所述的方法，其特征在于，所述根据所述第一映射表、所述第二映射表以及更新后的Hbase，同步Hive增量数据包括：

将写入至所述Hbase中的数据存储至HDFS；

根据所述第一映射表以及所述第二映射表访问所述HDFS，同步Hive查询数据。

7.根据权利要求1所述的方法，其特征在于，所述根据所述第一映射表、所述第二映射表以及更新后的Hbase，同步Hive增量数据包括：

识别更新后的Hbase中更新的字段名称和字段类型；

根据所述第一映射表与所述第二映射表，调整所述更新的字段名称和字段类型对应元数据，同步Hive增量数据。

8.一种Hive增量数据同步装置，其特征在于，所述装置包括：

数据库确定模块，用于确定与Hive对应的Hbase；

关联表获取模块，用于获取所述Hive中的第一映射表以及所述Hbase中的第二映射表，所述第一映射表和所述第二映射表在字段名称和字段类型上相互关联；

增量模块，用于通过所述Hbase中API将增量数据写入Hbase，所述增量数据为需增量至所述Hive中的数据；

同步模块，用于根据所述第一映射表、所述第二映射表以及更新后的Hbase，同步Hive增量数据。

9.一种计算机设备，包括至少一个处理器、至少一个存储器、以及总线；其中，所述处理器与所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。