[发明专利]一种基于重复数据删除的差量压缩方法

说明书

技术领域

本发明属于计算机存储的数据压缩领域，更具体地，涉及一种基于重复数据删除的数据差量压缩方法。

背景技术

近年来，随着计算机技术和网络的发展普及，全球的数据信息存储量呈爆炸式增长的趋势。虽然存储设备的售价一直在不停的下降，但也远远赶不上数据扩张增长的速度。重复数据删除（Data Deduplication）作为一种通过大规模地有效地消除冗余数据的技术，成为了近年来存储系统研究的热点。简单来讲，目前新兴的重复数据删除就是一种通过大规模地有效地消除冗余数据，从而降低数据存储成本的重要技术。举例来说：现在某核心部门有200GB的数据需要每天备份，那么一年就需要备份73TB，事实上每天修改的数据不到1GB，这样导致了很多冗余数据重复备份存储。而传统的备份存储技术不能识别备份数据中的冗余数据，因而会备份大量的重复数据，无端浪费了网络带宽和存储空间，降低了数据备份和归档的存储效率。随着备份次数的增多和备份数据量的迅猛增长，存储系统中的冗余数据越来越多，消耗在冗余数据上的存储和管理资源会成倍增长。而重复数据删除技术正好迎合了这一需求，通过有效识别和消除重复的冗余的数据降低数据存储管理的开销和提高存储资源的利用率。

但是随着重复数据删除技术的发展，重复数据删除技术也面临诸多的挑战。由于传统的重复数据删除技术是基于数据块的指纹来进行重复数据判断，所以这限制了重复数据删除技术只能识别完全重复的数据块，而不能识别那些很相似的数据块。比如两个数据块A1和A2仅几个字节不同的情况，虽然A1和A2接近完全相似，但是重复数据删除技术会产生截然不同的数据指纹从而忽略了对这些相似数据的处理。于是差量（Delta）压缩技术就被提出来应用在这种场合，差量压缩是一项高效的数据压缩技术，它能够根据引用数据块A_r对其相似数据块A_i进行高度压缩。数据块的相似度越高，则压缩效率越高。如公式所示，把A_r和A_i输入Delta算法器，Delta算法器会输出一个差量数据△_r，i代表文件A_i的压缩版本。如需要解压数据A_i，则读取差量数据△_r,i和引用数据块A_r即可以计算得出数据A_i。

然而，现有的差量压缩技术存在以下问题：其计算速度慢，索引开销大，数据压缩效率低，可扩展性差，如果要支持PB级别的相似数据检索，会产生10TB级别的相似数据信息索引，这些元数据由于太大而不能放入内存，同时，又由于放入磁盘存储管理而带来索引速度慢的瓶颈。这样元数据的管理和索引严重限制了差量压缩算法的推广和发展。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种基于重复数据删除的差量压缩方法，其通过将数据流的局部性和相似性的结合来进行差量压缩的相似性数据查找，具有查找效率快，索引开销小和数据压缩效率高的优点。

为实现上述目的，本发明提供了一种基于重复数据删除的差量压缩方法，包括以下步骤：

（1）对数据流中的文件进行分块，得到多个数据块；

（2）计算每个数据块的数据块指纹，用于重复数据查找；

（3）对所有数据块进行分组，以建立数据块组及其双向链表，并对数据块组内的每个数据块进行重复数据删除的指纹查找，以确定是否存在指纹记录，如果有指纹记录，则标记该数据块为重复数据块；如果没有，则标记该数据块为非重复数据块；

（4）对于重复数据删除处理后的数据块组，利用该数据块组的双向链表中的重复数据信息进行基于局部性的相似数据查找，具体包括如下子步骤：

（4-1）查找数据块组所在的双向链表，设置计数器i=1；

（4-2）判断双向链表中的第i个数据块是否为重复数据块；如果是，则取出该重复数据块对应的重复数据块C_d所在数据块组的双向链表，设置j＝i，并转入步骤（4-3）；否则设置i=i+1，并进入步骤（4-7）；在这里，称重复数据块C_d为重复数据块的引用数据块；

（4-3）判断第i-1个数据块是否为空值，或是重复或相似数据块，如果都不是，则转入步骤（4-4）；若是，则进入步骤（4-5）；