[发明专利]Hive增量数据同步方法、装置、计算机设备和存储介质

说明书

本申请涉及一种上述Hive增量数据同步方法、装置、计算机设备与存储介质，其中，方法包括：确定与Hive对应的Hbase；获取Hive到Hbase的关联表；通过所述Hbase中API将增量数据写入Hbase，以更新Hbase中数据，根据关联表以及更新后的Hbase，同步Hive增量数据。整个过程中，借助Hbase来完成增量数据的录入，并基于Hive到Hbase的关联表，实现增量数据同步至Hive，避免直接在Hive中操作受限，基于Hbase和Hive关联映射，高效实现Hive中增量数据同步。

技术领域

本申请涉及计算机技术领域，特别是涉及一种Hive增量数据同步方法、装置、计算机设备和存储介质。

背景技术

随着计算机技术的发展，出现了很多数据仓库工具，例如目前主流的Hive。

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL(Structured Query Language，结构化查询语言)查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

Hive功能上虽然具有上述优势，但是Hive中增量同步是个比较复杂的过程，传统的方式是将增量的数据通过Hive的insert、update以及delete同步到Hive，Hive作为数据仓库，其本身对insert、update以及delete支持度较差，因此，传统Hive增量同步方式无法高效实现增量同步。

发明内容

基于此，有必要针对上述技术问题，提供一种能够高效实现增量同步的Hive增量数据同步方法、装置、计算机设备和存储介质。

一种Hive增量数据同步方法，所述方法包括：

确定与Hive对应的Hbase；

获取所述Hive中的第一映射表以及所述Hbase中的第二映射表，所述第一映射表和所述第二映射表在字段名称和字段类型上相互关联；

通过所述Hbase中API(应用程序的调用接口，Application Program Interface)将增量数据写入Hbase，所述增量数据为需增量至所述Hive中的数据；

根据所述第一映射表、所述第二映射表以及更新后的Hbase，同步Hive增量数据。

在其中一个实施例中，所述获取所述Hive中的第一映射表以及所述Hbase中的第二映射表包括：

在Hive中创建第一映射表；

调用Hbase API，在Hbase中创建与所述第一映射表关联的第二映射表。

在其中一个实施例中，所述获取所述Hive中的第一映射表以及所述Hbase中的第二映射表包括：

在Hive中创建hivetable表，并且在Hbase中创建hbasetable表；

关联映射所述hivetable表与所述hbasetable表的表名、所述hivetable表中rowkey字段与所述hbasetable表中行键key以及所述hivetable表中列字符串与所述hbasetable表中列字符串；

建立所述Hive与所述Hbase之间通信。

在其中一个实施例中，所述通过所述Hbase中API将增量数据写入Hbase之前，还包括：

识别所述增量数据的类型；

所述通过所述Hbase中API将增量数据写入Hbase包括：