[发明专利]一种快速差量压缩方法

摘要

本发明公开了一种快速差量压缩方法，包括：对差量压缩中的基准块B进行基于内容的快速切分，以得到多个单词，从而构成单词库，对与基准块B相似的数据块A进行基于内容的快速切分，并且对快速切分期间检测到的重复单词进行放大，以得到重复单词和非重复单词，对得到的重复单词和非重复单词按切分顺序依次进行编码和储存，并分别使用两种不同的数据格式来记录重复单词和非重复单词，以得到差量数据块△_B,A，在需要对差量数据块△_B,A进行解码操作时，依次从△_B,A中获取两种数据格式的记录，从而依次获得数据块A的所有单词，将这些单词顺序写入输出流，以恢复出完整的数据块A。本发明具有重复单词查找效率快，计算开销小和数据压缩效率高等优点。

主权项

1.一种快速差量压缩方法，包括以下步骤：(1)对差量压缩中的基准块B进行基于内容的快速切分，以得到多个单词，从而构成单词库；(2)对与基准块B相似的数据块A进行基于内容的快速切分，并且对快速切分期间检测到的重复单词进行放大，以得到重复单词和非重复单词；其中，步骤(2)包括如下子步骤：(2‑1)初始化快速滑动哈希值g＝1，设置数据块A的当前滑动位置j＝1；(2‑2)计算数据块A在当前位置j处的快速滑动哈希值g，g＝(g<<1)+Aj,其中Aj表示数据块A在当前滑动位置j处的字节内容；(2‑3)判断步骤(2‑2)计算得到的快速滑动哈希值g是否满足最低p个位都为0，是则进入步骤(2‑4),否则转入步骤(2‑7)；(2‑4)标记位置j为一个单词W的结束，并利用指纹算法对该单词W计算指纹h；(2‑5)根据指纹h查找基准块B的单词库，通过指纹索引检测W是否为重复单词，若是则进入步骤(2‑6)；否则标记单词W为非重复单词，设置g＝1，进入步骤(2‑7)；(2‑6)标记单词W为重复单词，并继续比对单词W和W在基准块B中的重复单词V后续的字节内容是否相同，一旦遇到一个不相同的字节，就停止比对，最终得到后续相同的字节数k，设置单词W的长度增加k，设置j＝j+k，g＝1，并返回步骤(2‑2)；(2‑7)设置j＝j+1，并重复执行步骤(2‑2)和(2‑3)，直到处理完数据块A的最后一个字节为止；(3)对步骤(2)中得到的重复单词和非重复单词按切分顺序依次进行编码和储存，并分别使用两种不同的数据格式来记录重复单词和非重复单词，以得到差量数据块△B,A；(4)在需要对差量数据块△B,A进行解码操作时，依次从△B,A中获取两种数据格式的记录，从而依次获得数据块A的所有单词，将这些单词顺序写入输出流，以恢复出完整的数据块A。