[发明专利]一种面向大数据的云容灾备份方法

说明书

技术领域

本发明涉及数据备份领域，特别涉及一种面向大数据的云容灾备份方法。

背景技术

以往的数据保护方案都是基于单机设备的数据去重，而数据存储备份网络的发展趋势是大规模的分布式存储网络，多台存储和数据处理设备通过高速通讯线路连接协同提供云存储和高可用服务。海量异构数据的容灾备份通常使用分布式云存储网络，一个备份集以数据块形式分散存储到不同设备，这样好处是可以分担每台设备的负载，提高数据的容错能力，但是可能会有相同的数据块重复存储到不同设备，在云存储网络内堆积大量冗余数据，浪费成倍以上的存储空间，增加巨大的经济开支。分布式云存储网络存在多台存储设备，在接入网络节点部署分布式数据去重系统，集中管理分布式网络中所有设备的重复数据删除工作。本专利研发的容灾备份平台的分布式数据去重功能，不会直接在业务系统所在网络进行，而是部署在云存储网络的二级存储层的VTL、NAS或磁盘阵列等设备。

随着大数据时代的到来，当前企业数据中心管理的数据量已从TB级上升到PB甚至EB级，数据构成越来越复杂，不仅包括常规的关系型结构化数据，也包括半结构或无结构数据。面对日趋复杂的庞大数据集，对备份数据的容量和实时性都有更高的要求。以往的一些如SHA、MD5等重复数据删除技术，对备份数据块进行哈希码序列划分，以进行新旧哈希码对比来找出冗余数据，效率不低，但存在些问题，当存储容量不断增大时，数据块产生的哈希码列表太大，会给内存、系统带来较大的负荷，而且可能产生哈希冲突，会导致有用数据被丢弃(概率较低)。

存储系统通常将数据块哈希指纹存储在指纹数据库用以快速查重和检索，但对于实时性要求较高的在线系统来说，检索会受到存储系统吞吐量瓶颈以及存储介质的I/O性能的限制。目前对于指纹数据库的去重备份方法通常是使用数据库DUMP命令将数据库备份为数据库差异文件，然后对备份的数据库差异文件进行安全性检查，再将其上传到云存储资源池。在资源池内对备份的数据库文件进行重复数据删除，但随着数据库文件的增长，这种差分删除方法也会造成系统性能瓶颈。另一方面利用客户端压缩存储分解存储服务器的高负载问题通常为客户端对输入文件运行重复数据删除程序，用以生成切分数据块与相应的指纹特征值；客户端向派发服务器发送具有指纹特征值的查询要求；派发服务器纪录切分数据块的储存位置；派发服务器根据指纹特征值将查询要求转发至相应的重复数据处理装置；重复数据处理装置判断指纹特征值是否已经存在；若不存在该笔指纹特征值，则重复数据处理装置根据新的指纹特征值将新的切分数据块存储至存储服务端，但此类操作通常加重了客户端的负载。在实践中表明大数据存储系统中数据具有不同的访问热度，通常热数据的访问量和更新率远远超过了一些时间较久的冷数据，在区分数据热度时不可避免要面对大量的数据块的分割和重组，而存储介质的I/O性能和存储网络的带宽通常限制了大数据存储系统的吞吐率。

目前的容灾备份体系通常以私有云上的HDFS为平台，用MapReduce任务实现数据分块和结合了基于内容识别的重复数据删除技术，或者直接将数据存储在公有云，依赖公有云的去重技术和多副本异地容灾策略等，这些方法仅适合离线存储备份服务，通常不能满足现在的实时系统需求。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种面向大数据的云容灾备份方法。

本发明的目的通过以下的技术方案实现：

一种面向大数据的云容灾备份方法，包含以下顺序的步骤：

客户端通过建立文件块哈希指纹和快照指针实现对文件不同版本的压缩存储备份，同时客户端将文件块指纹传输给私有云存储系统；私有云建立文件块指纹索引数据库，通过MapReduce任务比对哈希指纹来对传输块进行初步去重，对数据块进行细粒度的基于内容的再次分块哈希，通过另一个MapReduce子任务计算数据块的相似度矩阵和块指针分布，由HDFS统计数据块的访问热度，并将指纹索引数据库与热数据缓存在存储前段，将冷数据以及归档备份数据集中存储并建立版本快照，定时备份在公有云存储系统实现异地容灾。

所述的面向大数据的云容灾备份方法，具体包含以下步骤：

S1.建立文件存储系统客户端，客户端按照基于内容的分块算法对文件进行分块，对每个数据块生成指纹信息，通过建立数据块快照对文件进行本地压缩存储备份并传输至私有云存储系统；

S2.以控制与传输分离的数据传输方式建立基于HDFS的私有云存储系统，在快速存储介质SSD上创建分布式数据块指纹数据库索引层和块数据缓存层；