[发明专利]云存储系统的数据备份加速方法

说明书

技术领域

本发明涉及一种云存储系统的数据备份方法，特别是涉及一种云存储系统的数据备份加速方法。

背景技术

随着个人数据量的增长，数据的容灾备份日益重要。日常生活中，灾难可能随时发生，断电，火灾、水灾，甚至是硬盘驱动器故障，都会使本地存储的所有数据遭受灭顶之灾。因此，用户需要选择远程备份或者将文件副本存在云存储中，使他们的数据免受灾难。在线备份服务基于互联网，可以对选定的文件自动备份。这些文件存储在云中，可以在任意时刻，任意地点，任意终端进行访问。用户的工作环境呈现出混合多样、跨平台甚至跨地域的特点。例如，某些用户有在不同的时间段在不同的地点采用不同的方式（包括手机，笔记本和平板电脑等）收发同一个账户的邮件，或是访问、编辑同一个文件等等。

针对这一需求，为用户提供“云备份”服务的产品有不少，其中有针对特定数据类型的，如用于手机通讯录同步的，又如针对文本文件和图像文件（照片）备份和同步的；也有不限定备份对象，直接提供存储空间的类型的，例如dropbox，百度网盘等。但是，这些产品基本都是直接将用户数据打包上传至服务器，受限于客户端的接入带宽，备份性能较差。本发明提出一种方法，针对数据中心带宽远高于客户端接入带宽的情况，充分利用数据中心的高带宽，从Internet上其他位置获取数据加快备份速度。

在用户进行数据备份时，传统的数据备份技术会将所有需要备份的数据依次通过网络传输至数据中心。在备份的过程中，用户端的接入带宽是主要的瓶颈，以备份30GB的数据为例，在4Mbps的接入速度且不考虑其他因素影响的情况下，数据备份需要近18小时。如果在此期间用户还有其他使用网络的应用，备份时间会进一步加长。另外，由于带宽被备份应用占用，工作的效率将受到明显的影响。由于云数据中心服务对象多为个人用户，不同用户所备份的数据间存在一定的重复率，但是传统的备份方式并未针对这种情况进行优化处理，因此造成了传输带宽和存储空间的浪费。

事实上，仔细分析云存储环境下的备份方式以及终端用户的数据，会发现在这类应用场景中有如下的特点：1）用户备份的数据来源比较多样，相当一部分是来自互联网的公共资源，如音乐，视频，图片等。而且这类数据往往是只读的，用户很少会对这些数据进行编辑，即使编辑也是极少量的改动；2）用户数据改动范围具有局部性的特点，在一段时间内被改动的数据相对集中，分布的范围较小；3）数据中心具有较高的网络带宽，可以保证充分利用用户端带宽的基础上从其他站点获取数据。

现有的备份方式并不能适应当前应用环境的特点，在复制管理的质量和效率上都有改善的空间。

发明内容

为了解决云存储系统的数据备份方法效率低的技术问题，本发明提供一种云存储系统的数据备份加速方法。该方法在数据中心利用网络爬虫程序定期从其他网络节点上下载数据并按块计算数据的哈希值，通过对客户端和数据中心各个数据块以相同的方法计算哈希值；在进行数据备份之前根据这些哈希值对客户端数据进行重复数据删除处理；在备份过程中，通过哈希值的比较，在数据中心已有数据和云端数据中查找与客户端重复的数据，进一步压缩需要从客户端复制到数据中心的数据量，同时根据对比的结果，利用数据中心的高带宽和云端数据的共享性，在客户端向数据中心备份数据的同时，从云端的网络节点向数据中心进行数据备份，使指定用户同数据中心之间通过网络传输的数据量降到最低，进而加速数据备份并有效地提高数据中心的存储利用率。

本发明解决其技术问题所采用的技术方案是：一种云存储系统的数据备份加速方法，其特点是采用以下步骤：

步骤一、确定系统中各个节点和子系统所承担的角色，并根据角色的不同，安装相应的功能组件，以配合角色完成备份过程中的对应处理。

步骤二、在源端首次发出备份请求之前，进行特征码预处理。

（1）源端处理。首先，特征码管理组件对源端的数据分块进行哈希值的计算并生成哈希表，根据该表与自身的匹配查找，对源端的数据进行重删处理，即将重复出现的哈希值用指向第一次出现该哈希值的数据块的位置信息进行替换，同时对数据本身存储和对应的元数据也做相应的处理。然后，将完成重删处理的哈希表传送到目标端的特征码管理组件，该表即为源端哈希表。

（2）目标端处理。目标端对本数据中心内部的数据进行哈希值计算，生成目标端的全局哈希表，表中保存做重删处理后的最终结果。将该全局哈希表同源端哈希表进行比较，把哈希值匹配的项目集中起来，生成本地哈希表，并在源端、目标端的数据发生修改、删除等变化时加以维护。