[发明专利]压缩装置、存储介质及重复信息查询、更新的方法和装置

说明书

本发明公开了一种压缩装置、存储介质及重复信息查询、更新的方法和装置，查询、更新方法均包括：计算当前的待匹配数据的数据头所对应的哈希值，查找历史信息表的与计算出的哈希值对应的入口，并确定入口中的多路历史信息项目；其中的查询方法还包括：将当前的待匹配数据与查找到的多路历史信息项目中的原始数据进行匹配对比，选择匹配长度最长的原始数据所在的历史信息项目作为查询结果输出；其中的更新方法还包括：将当前的待匹配数据与查找到的多路历史信息项目中的原始数据进行差异对比，将当前的待匹配数据替换掉差异最小的原始数据，本发明使得历史信息表中存放更多差异化历史结果，有效增加重复信息发现效率，降低历史信息冲突。

技术领域

本发明涉及数据压缩领域，尤其涉及一种压缩装置、存储介质及重复信息查询、更新的方法和装置。

背景技术

LZ77是一种经典的无损数据压缩算法，它主要通过发现数据中存在的重复性来缩减原始输入数据大小。LZ77算法主要可以切分为两个步骤，步骤一是重复数据的发现，步骤二是重复数据的选择。从工作流程上来说，LZ77重复数据发现算法的核心是历史信息表格的查询和维护，历史信息表中分为两个部分，第一部分是待压缩数据中的原始数据，第二部分是该原始数据串首字符到待压缩序列首字符的距离，也即所述原始数据的首字符在待压缩数据中的索引。

图1是一种常见的历史信息表格查询操作示意图，历史信息表格查询操作的具体步骤是：

1)长度为L的缓存用于存放待匹配的数据，该待匹配的数据的前K比特数据用于作为哈希(hash)运算的输入计算哈希值,哈希值具体为P比特数据；

2)用第一步计算出的哈希值作为入口地址，找到大小为2^P的历史信息表的具体入口，并将该入口的数据输出为匹配项。

举例来说，假设我们要压缩图2所示的数据，图中每一个字母表示一个字节的数据，比如第一个“a”表示一个字节的数据，阴影框选中的数据表示待匹配数据，假设待匹配数据的长度L为5(即阴影框选中5个数据)，则在重复数据查询过程中，需要从左往右顺次移动阴影框来查找每一次阴影框所选中的待匹配数据的重复信息，比如第一次选择的待匹配数据应该是“aaabc”，第二次选择的待匹配数据应该是“aabcd”，第三次选择的待匹配数据(图2中左侧阴影框所示)应该是“abcda”…，第15次选择的待匹配数据(图2中右侧阴影框所示)是“abcdd”…。

下面首先以左侧阴影框所选中的待匹配数据为例进行说明，按照上述查询步骤：假设K为16比特，即hash运算输入为16比特(即两个字节)，则首先需要将左侧阴影框所选中的待匹配数据“abcda”的前面两个字节“ab”作为hash运算输入，再假设hash运算结果长度P为8比特(即一个字节)，hash运算的计算方法为输入16比特的高8比特和低8比特做异或操作，则需要将“ab”中的高8比特数据“a”和低8比特数据“b”进行异或：“a”^“b”，则找到历史信息表中的“a”^“b”入口，该入口之前的数据为空，则将“abcda”写入该入口中的第一部分,该入口中的第二部分则为左侧阴影框选中的“abcda”的首字符到待压缩序列首字符的距离，也即“abcda”的首字符在待压缩数据中的索引，具体为2。

下面再以右侧阴影框所选中的待匹配数据为例进行说明，按照上述查询步骤：首先需要将右侧阴影框所选中的待匹配数据“abcdd”的前面两个字节“ab”作为hash运算输入，hash运算结果为“a”^“b”，则找到历史信息表中的“a”^“b”入口，显然该入口之前已经写入了左侧阴影框所选中的待匹配数据“abcda”，则可以将之前写入到该入口的“abcda”作为查询结果输出。

图3是一种常见的历史信息表格更新操作示意图，历史信息表格更新操作的具体步骤是：

1)长度为L的缓存用于存放待匹配的数据，该待匹配的数据的前K比特数据用于作为哈希(hash)运算的输入计算哈希值,哈希值具体为P比特数据；