[发明专利]一种基于重复数据删除的差量压缩方法

摘要

本发明公开了一种基于重复数据删除的差量压缩方法，包括以下步骤：对数据流中的文件进行分块，得到多个数据块，计算每个数据块的数据块指纹，用于重复数据查找，对所有数据块进行分组，以建立数据块组及其双向链表，并对数据块组内的每个数据块进行重复数据删除的指纹查找，以确定是否为重复数据块，对于重复数据删除处理后的数据块组，利用该数据块组的双向链表中的重复数据信息进行基于局部性的相似数据查找,即将那些跟重复数据块相邻的非重复数据块认定为潜在的相似数据块并加以差量压缩验证其相似性，最后对数据块组进行基于相似性的相似性数据查找补充。本发明具有相似数据查找快、计算和索引开销少、数据压缩效率高的优点。

主权项

一种基于重复数据删除的差量压缩方法，其特征在于，包括以下步骤：（1）对数据流中的文件进行分块，得到多个数据块；（2）计算每个数据块的数据块指纹，用于重复数据查找；（3）对所有数据块进行分组，以建立数据块组及其双向链表，并对数据块组内的每个数据块进行重复数据删除的指纹查找，以确定是否存在指纹记录，如果有指纹记录，则标记该数据块为重复数据块；如果没有，则标记该数据块为非重复数据块；（4）对于重复数据删除处理后的数据块组，利用该数据块组的双向链表中的重复数据信息进行基于局部性的相似数据查找，具体包括如下子步骤：（4‑1）查找数据块组所在的双向链表，设置计数器i=1；（4‑2）判断双向链表中的第i个数据块是否为重复数据块；如果是，则取出该重复数据块对应的重复数据块Cd所在数据块组的双向链表，设置j＝i，并转入步骤（4‑3）；否则设置i=i+1，并进入步骤（4‑7）；在这里，称重复数据块Cd为重复数据块的引用数据块；（4‑3）判断第i‑1个数据块是否为空值，或是重复或相似数据块，如果都不是，则转入步骤（4‑4）；若是，则进入步骤（4‑5）；（4‑4）对第i‑1个数据块读取重复数据块Cd所在数据块组的双向链表所对应的数据块，把该数据块作为差量压缩的引用数据块，对第i‑1个数据块和引用数据块进行差量压缩并判断压缩效率是否小于1/2，如果压缩效率小于1/2，则认为第i‑1个数据块不是相似的数据块，并进入步骤（4‑5）；如果压缩效率大于等于1/2，则标记第i‑1个数据块和引用数据块是相似的，则设置i=i‑1，并返回步骤（4‑3）；（4‑5）判断第j+1个数据块是否为空值，或是重复或者相似数据块，如果都不是，则转入（4‑6）；若是，则设置i＝j+1，并返回（4‑7）；（4‑6）对第j+1个数据块读取重复数据块Cd所在数据块组的双向链表所对应的数据块，把该数据块作为差量压缩的引用数据块，对第j+1个数据块和引用数据块进行差量压缩并判断压缩效率是否小于1/2，如果压缩效率小于1/2，则认为第j+1个数据块不是相似的数据块，则设置i＝j+1，并进入步骤（4‑7）；如果压缩效率大于等于1/2，则标记第j+1个数据块和引用数据块是相似的，则设置j＝j+1，并返回步骤（4‑5）；（4‑7）判断第i个数据块是否为双向链表中的最后一个数据块，如果是，则过程结束，否则返回步骤（4‑2）；（5）对该数据块组进行相似判断补充；（6）重复执行步骤（4）和（5），直到处理完步骤（3）中划分的所有数据块组为止。