[发明专利]一种将业务数据更新至Hive的方法、终端及存储介质

说明书

本发明公开了一种将业务数据更新至Hive的方法、终端及存储介质，属于业务数据存储领域，要解决的技术问题为如何实现Hive与业务表的对接、业务表数据的写入和更新以及大量业务表的处理。其方法包括：动态创建Hive事务表的JavaBean Class实例；构建映射关系Map；通过JavaBean实例将待更新的业务数据写入待更新的业务数据集、将待新增的业务数据写入待新增的业务数据集；将待更新的业务数据集存储至Hive事务表，将待新增的业务数据集添加Hive虚拟主键后存储至Hive事务表。终端中处理器被配置用于调用程序指令执行上述方法。存储介质中序指令当被处理器执行时处理器执行上述方法。

技术领域

本发明涉及业务数据存储领域，具体地说是一种将业务数据更新至Hive的方法、终端及存储介质。

背景技术

Hive是一种基于Hadoop的数据仓库，Hive提供了一种事务桶表，基于这种事务桶表可以实现数据的更新功能。Hive提供了SQL、Streaming API、以及Mutation API三种方式来处理数据。

(1)SQL方式，采用insert、update语句(如update Table_1 set modDay＝’2019-08-19’where id＝’1’；)，该方式一次只能更新一条业务数据，当大量业务数据发生变更时，采用SQL方式更新至Hive的效率十分低下，不适合；

(2)Streaming API方式，该方式支持批量处理Hive数据，但仅支持批量写入数据，不支持更新数据；

(3)Mutation API方式，该方式支持批量写入、更新Hive数据。

Hive Mutation API提供了MutatorClient、Transaction和MutatorCoordinator等接口，Hive开发人员可以调用这些接口实现新增或更新Hive事务表数据。具体逻辑是：创建一个MutatorClient，将业务数据写入一个和业务表对应的JavaBean实例，声明一个Transaction，采用MutatorCoordinator.insert()或采用MutatorCoordinator.update()新增一条Hive事务表数据或更新一条Hive表数据，提交事务，关闭连接。

Hive Mutation API提供了写入、更新Hive事务表数据的方式，但是对于以下内容该方式没有形成完整的方案：Hive与业务表的对接、业务表数据的写入和更新以及大量业务表的处理。

基于上述分析，如何实现Hive与业务表的对接、业务表数据的写入和更新以及大量业务表的处理，是需要解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供一种将业务数据更新至Hive的方法、终端及存储介质，来解决如何实现Hive与业务表的对接、业务表数据的写入和更新以及大量业务表的处理的问题。

第一方面，本发明提供一种将业务数据更新至Hive的方法，其特征在用于将业务数据写入或者更新至Hive中，所述方法包括如下步骤：

S100、动态创建Hive事务表的JavaBean Class实例；

S200、从业务数据中提取业务主键，从Hive事务表中查询数据并获取存储的业务主键和Hive虚拟主键，并构建反映业务主键和Hive虚拟主键映射关系的映射关系Map；

S300、基于映射关系Map判断业务数据表中业务数据为待更新的业务数据还是待新增的业务数据，并通过JavaBean实例将待更新的业务数据写入待更新的业务数据集、将待新增的业务数据写入待新增的业务数据集；

S400、将待更新的业务数据集存储至Hive事务表，将待新增的业务数据集添加Hive虚拟主键后存储至Hive事务表。