[发明专利]一种基于重复数据删除的差量压缩方法

权利要求书

1.一种基于重复数据删除的差量压缩方法，其特征在于，包括以下步骤：

（1）对数据流中的文件进行分块，得到多个数据块；

（2）计算每个数据块的数据块指纹，用于重复数据查找；

（3）对所有数据块进行分组，以建立数据块组及其双向链表，并对数据块组内的每个数据块进行重复数据删除的指纹查找，以确定是否存在指纹记录，如果有指纹记录，则标记该数据块为重复数据块；如果没有，则标记该数据块为非重复数据块；

（4）对于重复数据删除处理后的数据块组，利用该数据块组的双向链表中的重复数据信息进行基于局部性的相似数据查找，具体包括如下子步骤：

（4-1）查找数据块组所在的双向链表，设置计数器i=1；

（4-2）判断双向链表中的第i个数据块是否为重复数据块；如果是，则取出该重复数据块对应的重复数据块C_d所在数据块组的双向链表，设置j＝i，并转入步骤（4-3）；否则设置i=i+1，并进入步骤（4-7）；在这里，称重复数据块C_d为重复数据块的引用数据块；

（4-3）判断第i-1个数据块是否为空值，或是重复或相似数据块，如果都不是，则转入步骤（4-4）；若是，则进入步骤（4-5）；

（4-4）对第i-1个数据块读取重复数据块C_d所在数据块组的双向链表所对应的数据块，把该数据块作为差量压缩的引用数据块，对第i-1个数据块和引用数据块进行差量压缩并判断压缩效率是否小于1/2，如果压缩效率小于1/2，则认为第i-1个数据块不是相似的数据块，并进入步骤（4-5）；如果压缩效率大于等于1/2，则标记第i-1个数据块和引用数据块是相似的，则设置i=i-1，并返回步骤（4-3）；

（4-5）判断第j+1个数据块是否为空值，或是重复或者相似数据块，如果都不是，则转入（4-6）；若是，则设置i＝j+1，并返回（4-7）；

（4-6）对第j+1个数据块读取重复数据块C_d所在数据块组的双向链表所对应的数据块，把该数据块作为差量压缩的引用数据块，对第j+1个数据块和引用数据块进行差量压缩并判断压缩效率是否小于1/2，如果压缩效率小于1/2，则认为第j+1个数据块不是相似的数据块，则设置i＝j+1，并进入步骤（4-7）；如果压缩效率大于等于1/2，则标记第j+1个数据块和引用数据块是相似的，则设置j＝j+1，并返回步骤（4-5）；

（4-7）判断第i个数据块是否为双向链表中的最后一个数据块，如果是，则过程结束，否则返回步骤（4-2）；

（5）对该数据块组进行相似判断补充；

（6）重复执行步骤（4）和（5），直到处理完步骤（3）中划分的所有数据块组为止。

2.根据权利要求1所述的差量压缩方法，其特征在于，步骤（2）中采用SHA-1算法、SHA-256或SHA-512算法计算每个数据块的数据块指纹。

3.根据权利要求1所述的差量压缩方法，其特征在于，数据块组的大小为2MB。

4.根据权利要求1所述的差量压缩算法，其特征在于，步骤（4）具体为，对于重复数据删除处理后的数据块组，利用该数据块组的双向链表中的重复数据信息进行基于局部性的相似数据查找；通过查找重复数据块相邻的非重复数据块，将其认定为潜在的相似数据块，差量压缩这些数据块和对应的引用数据块块，并验证这些数据块和引用数据块真实相似性。

5.根据权利要求1所述的差量压缩方法，其特征在于，步骤（5）具体为，遍历该数据块组中的双向链表，对于仍然非重复并非相似的数据块，计算该数据块的一个低开销的超级指纹，通过查找超级指纹索引表判断是否有匹配的超级指纹，如果有，则读取出匹配的超级指纹所指的引用数据块，标记当前数据块和引用数据块相似，并对这两个相似数据块进行差量压缩；若没有，则继续遍历双向链表。