[发明专利]一种快速低资源开销的改进LZO压缩方法

说明书

一种快速低资源开销的改进LZO压缩方法，首先根据回指距离构建LZO压缩方法对新字符进行压缩的第一压缩格式及对应的第一压缩算法、第二压缩格式及对应的第二压缩算法，然后记录进行LZO压缩的新字符长度，根据新字符长度、回指距离选择的压缩格式及对应的压缩算法进行LZO压缩。本发明以LZO算法为基础，对比特文件进行统计分析，在保留哈希运算的前提下提出一套新的压缩格式，该压缩格式种类划分少，判断方式简单，在几乎不降低压缩率的前提下减小回指距离，压缩与解压缩速度均有较大提高，更便于硬件实现和宇航应用，具有很好的使用价值。

技术领域

本发明涉及比特文件压缩技术领域，特别是一种快速低资源开销的改进LZO压缩方法。

背景技术

LZO算法基于传统字典压缩算法，使用哈希表来记录滑动窗口内的字典数据，减少了搜索相同字符的时间，极大地提高了算法的压缩速度，其通过把压缩格式精细化到按每比特使用，可以使每个字节利用更充分，增大数据的压缩比。2004年，美国太空总署将LZO无损压缩应用在了探测火星的机会号和精神号上。

如图1所示为现有的LZO压缩算法流程图，其首先对输入数据做哈希运算，判断输入数据是否在哈希表内，如果输入数据不在哈希表内，则扩充哈希表，否则对输入数据按LZO压缩格式进行压缩。现有的LZO压缩算法压缩格式根据偏移距离和重复长度的不同共分为5种，如图2(a)、(b)、(c)、(d)、(e)所示为现有的LZO压缩算法5种LZO压缩格式。

如图2(a)、(b)、(c)所示三种压缩格式的重复长度小于等于8字节，格式1回指距离的范围小于等于2k，格式2回指距离小于等于16k，格式3回指距离大于16k，小于等于48k。格式4格式5是重复长度大于8字节的情况，格式4回指距离小于等于16k，格式5回指距离大于16k小于等于48k。

如图2所示的5种压缩格式最大可支持48k的回指距离，因此至少要存储48k的解压数据才能保证压缩数据被正确解压，过大的RAM深度使解压缩的速率变慢，RAM本身在解压缩时刷新频率降低，在空间辐射环境中，更易发生单粒子翻转。上述5种格式通过回指距离和重复长度共同判定使得判定过程繁琐，降低压缩速度；解压缩电路要区分5种压缩格式，需要大量的控制信号来保证解压缩正确性，使得解压缩过程复杂，增加了时序开销和硬件资源开销。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供了一种快速低资源开销的改进LZO压缩方法，通过对现有的LZO压缩算法研究，在保留LZO压缩算法哈希运算的同时，通过统计分析比特文件的数据特点和LZO的五种压缩格式，设计了一种快速低资源开销的无损压缩方法，通过重新设计压缩格式，在几乎不影响压缩率前提下，压缩与解压缩速度较大提升、硬件资源开销大幅降低。

本发明的技术解决方案是：一种快速低资源开销的改进LZO压缩方法，包括如下步骤：

(1)根据回指距离构建LZO压缩方法对新字符进行压缩的第一压缩格式及对应的第一压缩算法、第二压缩格式及对应的第二压缩算法；所述的第一压缩格式适用且进行压缩的新字符的回指距离小于第二压缩格式适用且进行压缩的新字符的回指距离；

(2)记录进行LZO压缩的新字符长度，根据新字符长度、回指距离选择的压缩格式及对应的压缩算法进行LZO压缩。

所述的第一压缩格式适用且进行压缩的新字符的回指距离不大于1k，第二压缩格式适用且进行压缩的新字符的回指距离大于1k小于等于16k。

所述的第一压缩格式的第一字节t(0)为8bit，最高位为1，t(0)的6、5、4bit记录重复长度的值，3≤重复长度≤8，3、2bit记录回指距离的低2位，1、0bit记录下次输入为新字符且新字符长度≤3时新字符长度的值，最后一字节u记录回指距离后8位。

所述的第一压缩格式对应的第一压缩算法包括如下步骤：