[发明专利]一种基于BWT和LZW的报文压缩与解压缩方法及设备

说明书

本发明公开了一种基于BWT和LZW的报文压缩与解压缩方法，包括以下步骤：步骤1、对待压缩的报文进行预处理；步骤2、对预处理后的报文进行BWT正变换；步骤3、对BWT正变换后的报文进行LZW算法压缩；步骤4、对压缩后的报文进行LZW解压缩还原；步骤5、对经LZW解压缩后的报文进行BWT逆变换，得到解码后的报文；步骤6，对解码后的报文添加标识信息，得到原报文。本发明通过对报文数据结构进行分析，选择了使用预处理、BWT和LZW算法组合压缩的方式，比传统压缩进一步提升压缩率。

技术领域

本发明涉及计算机技术领域，具体涉及一种基于BWT和LZW的报文压缩与解压缩方法及设备。

背景技术

随着以雷达、光电、卫星等各型传感器技术的发展与普及，我们获得大量传感器实时报文数据。由于这类数据的敏感性，往往对数据传输的完整性和实时性要求较高；与此同时，为了便于技术人员事后分析研判，我们对报文数据的记录存储也有长期性需求。随着报文数据的急剧增加，这对硬件设备的传输、存储能力提出了很大的挑战，因此为缓解硬件设备压力，减少对硬件设备性能的依赖，需对报文进行压缩。

数据压缩是指在不丢失信息的前提下，按照一定的算法对报文数据进行重新组织，以减少存储空间，提高信息数据传输、存储和处理效率的一种技术方法。目前数据压缩技术已广泛应用于视频、图像等业务。数据压缩的方法很多，按数据重建的完整性，过程数据的压缩方法可分为有损压缩和无损压缩两类，对于传感器数据，必须要保证压缩、解压缩后数据信息无误，因此只能采取无损压缩的方式。

无损压缩能保留原始数据完整的信息，准确反映动态过程的原始特性，目前无损压缩技术主要分为统计方法与字典方法两大类。统计方法主要有Huffman编码、游程编码等；字典方法众多，LZ(Lemple-Ziv)系列算法包括LZ77、LZW、LZSS等是其中应用最为广泛的。在对报文压缩的实际编程过程中发现，不论是统计方法还是字典方法运行过程中压缩速度较慢，时延较长。

发明内容

为了解决上述问题，本发明提出了一种基于BWT和LZW的报文压缩与解压缩方法，包括以下步骤：

步骤1、对待压缩的报文进行预处理：

对待压缩的报文进行报文格式化，判断当前报文是否符合预处理模块预设的报文结构；若符合，则删除匹配信息后重新组合成新的报文，若不符合则保持当前报文不变，在报文的最后增加一位标识，用于标记该报文是否删除字符；

步骤2、对预处理后的报文进行BWT正变换；即对处理后的报文的字符串轮转后得到的字符矩阵进行排序和变换；

步骤3、对BWT正变换后的报文进行LZW算法压缩：提取BWT正变换后的报文数据中的不同字符，基于这些字符创建一个编译表，然后用编译表中的字符索引来替代原始数据中的相应字符，从而实现压缩；

步骤4、对压缩后的报文进行LZW解压缩还原；

步骤5、对经LZW解压缩后的报文进行BWT逆变换，得到解码后的报文；

步骤6，对解码后的报文添加标识信息，得到原报文。

进一步地，对于长度为n的报文字符串S，BWT正变换将其改序成另一个字符串L，新的字符串L按如下步骤生成：

步骤2.1、构造一个n*n的矩阵M，矩阵的第一行等于S，从第二行开始，每一行都是上一行循环左移一位所得，直到第n行，刚好完成一次对原字符串的轮转；

步骤2.2、对矩阵M的所有行按照字母表顺序进行排序，第一列的排序首字母最小，其次第二列，直到最后一列，得到矩阵M’；

步骤2.3、输出M’矩阵的第一列转置F，最后一列转置L。

进一步地，步骤3具体包括以下步骤：