[发明专利]增量和连续的数据压缩

说明书

本申请是申请日为2001年7月18日申请号为第01816213.4号发明名称为“增量和连续的数据压缩”的中国专利申请的分案申请。

有关申请

本申请要求在2000年7月25日提交的美国临时申请号为60/221,262的专利申请的优先权，该专利整体加入这里作为参考。

发明背景

1.发明领域

本发明涉及数据压缩领域，尤其涉及增量及连续的数据压缩的领域。

2.背景技术描述

传统通信系统的重要目标是改善数据的带宽的吞吐量。传统的系统不是发送每一位数据，而是使用压缩算法来减少从源到目标需要发送的数据量。两类压缩算法，无损压缩算法和有损压缩算法。无损压缩算法将数据转换成一种形式，其中包含在该数据中的信息不受损失。相反，有损压缩算法产生一种表示方式，其中，该数据的某些细节可能被排除。

压缩算法也能粗略地分成两个类别：专用的及通用的。专用压缩及解压缩应用于那样的数据，对那些数据它们的数据特征的先验知识是可以得到的。例如，视频数据已知由各个帧组成，每帧与其以前帧及后续帧的区别很少。在那样的情况，专用压缩方案能得益于此先验知识而设计更专门的因而可能更有效的压缩及解压缩算法。通用压缩算法(也称为万能压缩算法)不假设数据特征或产生数据的源的任何先验知识。因此，通用压缩常常比较低效，它更经常地导致比对于特殊数据类型的专用压缩算法更少程度的压缩。然而，通用压缩算法更灵活，因为如上所述，它们能有效地用于许多不同类型的数据，并在事先不知道有关数据的信息的情况下应用。

一类通用压缩算法是根据对数据中的重复的识别及消除。这些方法称为基于词典的压缩技术，因为它们试图发现重复项及短语的词典。学到的词典项随后被用于消除在目标数据组中的这些项的重复性。

两个其他类型的压缩算法是增量压缩算法和连续压缩算法。此两类算法不是互相排斥的，即一个压缩算法能既是增量的又是连续的，增量压缩算法是不需要处理整个输入流或输入流中的整个数据块来产生其输出的算法。相反，增量压缩算法在逐个符号的基础上(即增量地)处理输入，并在其仍然处理输入的过程中产生其输出，而不是在其处理整个输入之后。例如，计算在一段文字中的元音数的算法基本上是非增量算法，因为它必须处理整个文字输入来计算元音的总数。另外，将小写文字转换成大写文字的算法是增量的，因为它能独立地处理每个输入字符，并能在其处理每个输入字符时产生其输出。

连续算法是能在无限的输入数据流上无限地运行而不会用完如存储器及盘空间等那样的系统资源的算法。连续算法也常常称为流算法。注意，仅仅在处理所有输入后产生输出的非增量算法根据定义是非连续的(因为在连续算法中输入是无限长)。

数据的存储和传输的代价直接与数据对象的大小相关。因此，从数据中消除冗余是改善数据存储和传输的效率的高度有效的方法。最通用的无损数据压缩算法试图根据两个主要方法从数据中消除冗余：(1)识别和消除重复的项及短语；和(2)以更有效的方式编码数据。

能通过各种技术实现重复项或短语的识别。涉及的通常原则能借助例子说明。考虑到等式(1)中的字符序列。

S＝aabcaabdaabeaabf    等式(1)

基于词典的压缩算法能识别，短语“aab”在此序列中重复了4次。若算法用新的符号，如A替代“aab”的所有出现，该序列则被更有效地存储或传输。被压缩的序列然后看来如等式(2)中的序列。

S＝AcAdAeAf    等式(2)

除了上述压缩序列以外，该算法也必须存储或发送附加指令，指出在解压缩期间A的所有出现应由“aab”替代。因此，指令A＝aab是压缩所根据的词典项。为了能解压缩，该词典和压缩的字符串必须被存储或发送。虽然在此情况词典是易于确定的，对给定的输入序列已经示出，寻找产生高度压缩的词典的问题是NP-完成，它在计算机协会杂志29(4)(1982)925-951页J.A.Storer所著“Datacompression via textual Substitution”中描述，该文整个加入于此作为参考。

数据编码包括在每个字符的基础上修改数据的表示，使得经常发生的字符能更有效地表示(如用更少的位数)。考虑在等式(3)中14个字符的序列。

S＝abacadaeafagah                    等式(3)