[发明专利]一种面向大数据的云容灾备份方法

权利要求书

1.一种面向大数据的云容灾备份方法，其特征在于，包含以下顺序的步骤：客户端通过建立文件块哈希指纹和快照指针实现对文件不同版本的压缩存储备份，同时客户端将文件块指纹传输给私有云存储系统；私有云建立文件块指纹索引数据库，通过MapReduce任务比对哈希指纹来对传输块进行初步去重，对数据块进行细粒度的基于内容的再次分块哈希，通过另一个MapReduce子任务计算数据块的相似度矩阵和块指针分布，由HDFS统计数据块的访问热度，并将指纹索引数据库与热数据缓存在存储前段，将冷数据以及归档备份数据集中存储并建立版本快照，定时备份在公有云存储系统实现异地容灾。

2.根据权利要求1所述的面向大数据的云容灾备份方法，其特征在于，该方法具体包含以下步骤：

S1.建立文件存储系统客户端，客户端按照基于内容的分块算法对文件进行分块，对每个数据块生成指纹信息，通过建立数据块快照对文件进行本地压缩存储备份并传输至私有云存储系统；

S2.以控制与传输分离的数据传输方式建立基于HDFS的私有云存储系统，在快速存储介质SSD上创建分布式数据块指纹数据库索引层和块数据缓存层；

S3.通过对数据块指纹的并行检索和相似度计算来实现重复数据删除，运行两个以流水技术相互叠加的MapReduce任务，其中，第一个MapReduce任务实现对数据块指纹的快速索引，在索引未命中时，启动第二个MapReduce任务对数据块进行基于内容识别的相似度计算，生成指纹相似度矩阵和块指针分布进一步增强重复数据删除技术；

S4.在私有云平台上建立基于内容识别的数据分块和统计，在分类基础上对用户访问进行统计，将访问频率较高的数据重组和缓存，重新生成指纹和指针分布，对访问频率较低的数据进行压缩和归档；

S5.建立基于公有云的异地容灾策略，对冷数据的定时归档和对热数据的按计划定时备份，所述冷数据为访问频率较低的数据，热数据为访问频率较高的数据。

3.根据权利要求1所述的面向大数据的云容灾备份方法，其特征在于：所述的客户端以非对称加密技术对客户端数据加密存储，将私钥存储在服务端的密钥数据库，同时建立基于密文的检索系统。

4.根据权利要求1所述的面向大数据的云容灾备份方法，其特征在于：所述的客户端对文件进行本地压缩存储备份，是以MD5压缩技术生成数据块摘要，以库文件的形式提供一组与POSIX和WebDAV规范兼容的接口，模拟出各种已知的应用协议，客户端通过操作系统的统一接口来透明地访问私有云的存储空间。

5.根据权利要求1所述的面向大数据的云容灾备份方法，其特征在于：所述的定时备份具体为：通过将加密之后的私有云存储逻辑卷定时上传到公有云中做备份来实现每周一次或每日一次的数据归档。