[发明专利]一种数据压缩方法、数据解压方法及相关系统

说明书

本发明实施例公开了一种数据压缩方法、数据解压方法及相关系统，用于将原数据分为多个数据块后，将相似的数据块迁移重组来消除冗余数据，从而提高数据的压缩率。本发明实施例方法包括：将原数据分为多个数据块；检测多个数据块的相似性；将相似的数据块依次迁移重组，生成重组数据；将重组数据进行压缩，生成压缩数据。本实施例还提供了一种数据解压方法及相关系统，用于提高数据的压缩率。

技术领域

本发明涉及计算机数据处理技术领域，尤其涉及一种数据压缩方法、数据解压方法及相关系统。

背景技术

数据压缩是指在不丢失有用信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率，或按照一定的算法对数据进行重新组织，减少数据的冗余和存储的空间的一种技术方法。

目前的数据压缩技术主要分为有损压缩和无损压缩，现有的无损压缩技术大多由基于字典编码技术LZ77和LZ78发展而来。字典编码技术主要采用一种基于“滑动窗口”的缓存技术，将当前字符序列与滑动窗口内缓存的字符序列进行匹配，如果重复，则用一个相对短的编码来表示，从而实现字符串级的冗余消除。

而现有的无损压缩技术中滑动窗口的大小，主要限制了冗余数据的查找，一方面，滑动窗口越大意味着越容易找到冗余数据，从而可以更多地消除冗余，但随着滑动窗口的增大，冗余字符串的匹配查找时间也呈指数增长，因此大多数压缩算法限制了滑动窗口的大小，例如bzip2的最大滑动窗口为900KB；另一方面，滑动窗口太小，不同窗口内的冗余数据因为相距较远而无法消除，存储系统中仍存在大量的冗余数据，同时，非冗余数据的字符串匹配操作也耗时严重，降低了存储系统中的数据压缩速度。

发明内容

本发明实施例提供了一种数据压缩方法、数据解压方法及相关系统，用于将原数据分为多个数据块后，将相似的数据块迁移重组来消除冗余数据，从而解决了传统的压缩技术中，因为滑动窗口大小的限制而导致相距较远的数据冗余无法消除的问题。

本发明一方面提供一种数据压缩的方法，包括：

将原数据分为多个数据块；

检测多个数据块的相似性；

将相似的数据块依次迁移重组，生成重组数据；

将重组数据进行压缩，生成压缩数据。

可选的，在将原数据分为多个数据块之后，检测多个数据块的相似性之前，该方法还包括：

记录多个数据块的顺序、偏移及块长，生成原文件谱。

可选的，在将相似的数据块依次迁移重组，生成重组数据之后，将重组数据进行压缩之前，该方法还包括：

根据重组数据，更新多个数据块的偏移，得到新原文件谱；

将新原文件谱进行压缩，生成压缩文件谱。

可选的，将相似的数据块依次迁移重组，生成重组数据，包括：

将相似数据块依次迁移重组，生成多个相似链表；

根据多个相似链表，从原数据中读取对应的数据块内容，生成重组数据。

可选的，检测多个数据块的相似性，包括：

通过超级特征值法、Simhash或Minhash法检测多个数据块的相似性。

本发明另一方面提供了一种数据解压方法，包括：

解压压缩数据及压缩文件谱，分别得到重组数据和新原文件谱；

根据新原文件谱记录的多个数据块的顺序、偏移及块长，分别从重组数据中读取多个数据块；

根据新原文件谱记录的多个数据块的顺序，依次写入多个数据块，得到原数据。