[发明专利]HIVE表迁移方法、装置、设备及存储介质

说明书

本申请提供了一种HIVE表迁移方法、装置、设备及存储介质。其中方法包括：获取预先配置的表迁移规则，所述表迁移规则包括至少一条迁移信息，所述迁移信息包括源集群的源表信息和对应的目标集群的目标表信息；根据所述表迁移规则，通过支持并发任务的数据迁移工具将至少一个源表中的数据迁移到对应的目标表中；根据所述目标表的分区数据和所述表迁移规则，同步所述目标表的分区元数据信息。本申请实施例的HIVE表迁移方法，可配置化支持跨集群的多表同时进行迁移。

技术领域

本申请涉及计算机领域，尤其涉及一种HIVE表迁移方法、装置、设备及存储介质。

背景技术

随着大数据时代的到来，超大规模集团与企业会建设不同的大数据平台或数据中台环境，用以实现大数据计算和存储、数据统计分析、数据挖掘，对企业数字化营销、数字化运营进行决策支持。随着大数据中台的建设，数据计算和存储的中心化趋势的发展，企业或集团内部不同子集团之间的数据需要迁移至数据中台进行数据融合、共享以及关联计算。此时，就需要在集团或企业内部的各大数据平台环境(或数据中台)之间进行数据迁移、数据交换的工具。

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。HIVE是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。HIVE数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供结构化查询语言(Structured Query Language，SQL)查询功能。跨集群之间的HIVE表迁移效率对于大数据平台或数据中台的数据处理效率具有重要的影响。

发明内容

本申请提供了一种HIVE表迁移方法、装置及存储介质，以提高HIVE表迁移效率。本申请的技术方案如下：

根据本申请实施例的第一方面，提供一种HIVE表迁移方法，包括：

获取预先配置的表迁移规则，所述表迁移规则包括至少一条迁移信息，所述迁移信息包括源集群的源表信息和目标集群的目标表信息；

根据所述表迁移规则，通过支持并发任务的数据迁移工具将至少一个源表中的数据迁移到对应的目标表中；

根据所述目标表的分区数据和所述表迁移规则，同步所述目标表的分区元数据信息根据本申请实施例的第二方面，提供一种HIVE表迁移装置，包括：

配置模块，用于获取预先配置的表迁移规则，所述表迁移规则包括至少一条迁移信息，所述迁移信息包括源集群的源表信息和目标集群的目标表信息；

迁移模块，用于根据所述表迁移规则，通过支持并发任务的数据迁移工具将至少一个源表中的数据迁移到对应的目标表中；

同步模块，用于根据所述目标表的分区数据和所述表迁移规则，同步所述目标表的分区元数据信息。

根据本申请实施例的第三方面，提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请第一方面实施例所述的HIVE表迁移方法。

根据本申请实施例的第四方面，提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请第一方面实施例所述的HIVE表迁移方法。

根据本申请实施例的第五方面，提供一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现本申请第一方面实施例所述的HIVE表迁移方法的步骤。

本申请实施例提供的技术方案至少带来以下有益效果：

本申请实施例的HIVE表迁移方法，通过配置表迁移规则中的至少一条迁移信息，结合采用支持多并发的数据迁移工具，可配置化支持跨集群的多表同时进行迁移。