[发明专利]一种适用于Hive数据仓库进行数据备份与恢复的方法及系统

说明书

本发明提供一种适用于Hive数据仓库进行数据备份与恢复的方法及系统，属于大数据存储与计算技术领域，本发明使用HDFS分布式文件系统API，获取HDFS路径，使用Hive元数据获取Hive数据文件路径，通过HDFS Java API将Hive数据拷贝到HDFS中，并在MySql关系型数据库中添加一条记录，记录备份时间、备份类型、备份标签等信息。数据恢复时，选择数据备份列表中需要恢复的记录，通过Hive JDBC接口将备份的数据Load到需要恢复的Hive数据表中。提供大数据备份与恢复的功能，以达到容灾的目的。

技术领域

本发明涉及大数据存储与计算技术领域，尤其涉及一种适用于Hive数据仓库进行数据备份与恢复的方法及系统。

背景技术

数据备份是容灾的基础，为了防止操作失误、机器宕机等故障必须进行数据备份。随着技术的不断发展，数据的海量增加，对数据备份及恢复的时效性要求也越来越高。传统的数据备份将数据文件下载到本地磁盘，数据恢复时再上传到集群，这种方式会消耗大量的网络IO，耗时久，性能差。

发明内容

为了解决以上技术问题，本发明提供了一种适用于Hive数据仓库进行数据备份与恢复的方法。将数据备份到HDFS中，备份速度快，数据恢复耗时短，且易于操作，节省运维成本。更加快速、高效的达到容灾的目的。

本发明的技术方案是：

一种适用于Hive数据仓库进行数据备份与恢复的方法，数据备份到HDFS分布式文件系统中，选择备份路径进行数据备份操作，数据恢复时选择需要恢复的数据标签，程序执行Hive Load操作进行数据的恢复。

进一步的，

使用HDFS分布式文件系统API，获取HDFS路径，使用Hive元数据获取Hive数据文件路径，通过HDFS Java API将Hive数据拷贝到HDFS中，并在MySql关系型数据库中添加一条记录，记录备份时间、备份类型、备份标签等信息。

数据恢复时，选择数据备份列表中需要恢复的记录，通过Hive JDBC接口将备份的数据Load到需要恢复的Hive数据表中。

进一步的，

数据备份时选择HDFS路径进行数据备份操作；使用HDFS接口展示大数据集群的HDFS数据目录，用于选择数据备份地址，通过Hive元数据获取Hive数据文件路径，将数据文件备份到HDFS分布式文件系统中。

数据备份时，通过Hive Metastore获取数据表存储路径，将数据文件拷贝到HDFS路径中。

进一步的，

数据恢复时选择备份标签，备份标签包含备份时间、HDFS路径信息，数据恢复时后台执行Load命令进行数据恢复。

进行数据恢复时，选中需要恢复的数据文件，系统调用Hive API将数据恢复到备份时的状态。

此外，本发明还提供了一种适用于Hive数据仓库进行数据备份与恢复系统，包括如下模块：

1)、数据备份模块，该模块用于数据备份；

选择需要备份的数据表，点击数据备份；数据备份包含数据库名称、数据表名称、备份类型、备份路径；其中备份路径为HDFS路径，点击备份路径可以查看HDFS路径，选择数据备份的路径。

2)、数据恢复模块，该模块用于数据恢复。数据恢复的前提为数据备份成功，数据备份成功后，会在MySql中添加一条记录，保存数据备份的信息。点击数据恢复后，会弹出数据恢复列表，包含备份标签、备份类型、备份时间，选择需要恢复的数据，点击恢复按钮进行数据恢复。

本发明的有益效果是