[发明专利]基于Hadoop分布式文件系统的数据备份方法及系统

说明书

本发明公开了一种基于Hadoop分布式文件系统的数据备份方法及系统，方法包括通过HDFS客户端对文件夹通过快照的方式备份，通过客户端生成文件夹的时间点快照，文件夹内的数据存储至外部存储介质。系统包括HDFS系统以及与该系统连接的存储服务器，所述储服务器包含存储介质和文件索引数据库；所述存储介质用于保存系统文件数据，文件索引数据库用于保存系统文件元数据。本发明能够提高HDFS中数据的安全性，防止Hadoop集群发生灾难，能够自动化、快速恢复系统数据，保护公司数据完整性、一致性。

技术领域

本发明涉及一种数据备份方法及系统，尤其涉及一种基于Hadoop分布式文件系统的数据备份方法及系统。

背景技术

“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。随着计算机和信息技术的迅猛发展和普及应用，大数据越来越彰显其优势，进而行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。

Hadoop实现了一个具有高容错性的分布式文件系统(Hadoop Distributed FileSystem，HDFS),用来解决低廉的硬件，能搭建可伸缩的超大集群，实现大数据量的存储、访问等问题。随着技术的越来越成熟，系统的越来越稳定，像Cloudera、Hortonworks等厂家相继推出基于Hadoop架构的大数据解决方案，越来越多的企业也将Hadoop作为公司的基础平台。在Hadoop集群发生灾难性情况的时候，市场上缺少一种能从远程、外部保护数据、恢复数据的方法。本发明就是为了应对这种集群灾难性情况的发生。

发明内容

发明目的：本发明旨在提供一种基于Hadoop分布式文件系统的利用第三方介质、高效、安全的数据备份方法及系统。

技术方案：本发明的基于Hadoop分布式文件系统的数据备份方法，通过HDFS客户端对文件夹通过快照的方式备份，通过客户端生成文件夹的时间点快照，文件夹内的数据存储至外部存储介质。

包括以下步骤：

(1)创建HDFS客户端；

(2)创建文件夹快照：通过HDFS客户端读取当前集群的快照信息，对备份文件夹生成只读时间点快照，不拷贝任何数据块；

(3)数据备份：将外部存储介质与HDFS文件系统建立连接，读取文件内容，写入到外部存储介质；

(4)元数据元备份：通过HDFS客户端，读取文件/文件夹的元数据，连接远程存储索引库，将元数据写入文件索引数据库中。

所述步骤(1)包括：

(11)在Hadoop管理系统界面下载HDFS服务客户端和用户凭据，获取HDFS配置信息和Kerberos认证信息，并将配置放置在代理节点上；

(12)通过代理框架下发备份作业，在作业中读取获取到的HDFS配置和Kerberos认证，创建HDFS客户端。

所述步骤(2)中，若文件夹是增量备份，则对前后两个快照进行对比，获取文件夹的修改信息。

所述步骤(2)的外部存储介质为远程存储介质。

所述步骤(4)的元数据包括分布式文件的属性信息和分布式文件在外部存储介质中的存储位置信息。

还包括以下步骤：当系统中的文件损坏或丢失时，HDFS客户端通过获取文件在外部存储介质中的位置信息，选择性的恢复部分文件，而不需要恢复全部的快照。