[发明专利]数据压缩方法及装置

说明书

本发明实施例提供一种数据压缩方法及装置，该装置包括：拆分模块，用于根据预设拆分规则，拆分待压缩数据，获得拆分后的数据并发送给压缩模块，使得压缩算法适用于拆分后的数据，其中，该预设拆分规则是根据待压缩数据的特点确定的；压缩模块，用于接收拆分模块发送的拆分后的数据，采用压缩算法对拆分后的数据进行压缩处理，输出压缩数据，并发送给存储模块；存储模块，用于接收压缩模块发送的压缩数据，并存储压缩数据。本发明实施例根据待压缩数据的特点对其进行拆分，使得不适宜采用专用压缩算法的待压缩数据，经过拆分处理后，可以通过专用压缩算法处理获得高压缩比，从而节省数据的存储空间，降低成本。

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种数据压缩方法及装置。

背景技术

随着科学技术的快速发展，信息量迅猛增加。因此，对信息的储存和挖掘也引起广泛关注，例如，信息技术（Information Technology，简称：IT)厂商追捧的大数据。如果对信息不加压缩的进行储存，存储成本开销较大，因此，压缩方法备受关注。

若按信息是否有损来划分，压缩方法包括有损压缩方法和无损压缩方法。其中，无损压缩方法表示信息经解压缩后可以完整地还原；而采用有损压缩方法压缩后的数据不能被完整还原，例如，音频压缩和视频压缩就不能被完整还原。常见的无损压缩方法包括专用压缩算法，例如词典压缩算法、等值距离压缩算法、差值压缩算法和通用比特（bit）压缩算法，等等。

专用压缩算法通常解决某一类数据的压缩，对有些数据的压缩可能导致信息储存空间的增加。

发明内容

本发明实施例提供一种数据压缩方法及装置，以解决采用专用压缩算法对数据进行压缩所导致的信息储存空间增加的问题。

第一方面，本发明实施例提供一种数据压缩装置，包括：

拆分模块，用于根据预设拆分规则，拆分待压缩数据，获得拆分后的数据并发送给压缩模块，使得压缩算法适用于所述拆分后的数据，其中，所述预设拆分规则是根据所述待压缩数据的特点确定的；

所述压缩模块，用于接收所述拆分模块发送的所述拆分后的数据，采用所述压缩算法对所述拆分后的数据进行压缩处理，输出压缩数据，并发送给存储模块；

所述存储模块，用于接收所述压缩模块发送的所述压缩数据，并存储所述压缩数据。

结合第一方面，在第一方面的第一种可能的实现方式中，所述拆分模块具体用于：

采用预设值整除法，拆分所述待压缩数据，其中，拆分的段数是根据对所述待压缩数据进行采样测试来确定的。

结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述压缩模块具体用于：

接收所述拆分模块发送的所述拆分后的数据，采用所述压缩算法对所述拆分后的数据进行至少一次压缩处理，输出所述压缩数据，其中，每次压缩处理中所采用的压缩算法相同或不同。

结合第一方面或第一方面的第一种或第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述存储模块具体用于：

采用自描述压缩编码存储所述压缩数据，获得编码数据，所述自描述压缩编码包括编码长度标识部分和数据值编码部分，所述编码长度标识部分用于表征对所述压缩数据进行编码的字节个数，所述数据值编码部分用于表征对所述压缩数据进行编码的部分，其中，所述压缩数据的编码长度由其自身的首N个比特进行标识，其中，N的大小等于所述编码数据的二进制表示中自最高位起第一个取值为零的位与最高位之间取值为非零的位的个数再加1。

结合第一方面或第一方面的第一种或第二种可能的实现方式，在第一方面的第四种可能的实现方式中，所述装置还包括：