[发明专利]数据压缩装置、数据压缩方法及记录介质

说明书

技术领域

本发明涉及数据压缩装置、数据压缩方法及用于该方法的计算机可读取的记录介质。更为详细地，本发明是利用要压缩的整体数据中的一部分来生成对于重复的数据的全局符号表，生成不与全局符号表重复的局部符号表，来以块为单位压缩数据，从而能够增加压缩效率的数据压缩方法装置、数据压缩方法及用于该方法的计算机可读取的记录介质的相关技术。

本发明从作为知识经济部的产业融合源泉技术开发事业的一环来执行的研究中导出（10040937，用于日本大型计算机（日立、富士通）的集成解决方案的开发）。

背景技术

数据压缩为用于将数据有效地存储于更小的存储空间的技术。为此，广泛使用在向原始数据适用特定压缩算法后，包含能够识别压缩算法的种类的信息来生成压缩数据的技术。通常，生成压缩数据的这种技术由甲骨文（Oracle）、结构化查询语言（SQL，structured query language）服务器、DB2等的数据库管理系统提供。在这种数据库管理系统中，向出现频率高的数据列分配例如数字或文字等符号来形成符号表，在压缩数据时利用符号表来压缩数据列。

发明内容

作为以往的压缩方法中的一个，有在加载整体数据列后生成对于整体数据列的符号表来压缩数据的方法。在这种情况下，由于无法对在生成符号表之后新出现的重复的数据列进行压缩，因而存在降低压缩效率的问题。

并且，作为其他方法，有加载整体数据列中的规定大小的数据列，则生成对于相关数据列的符号表并以一个块为单位来压缩数据的方法。在这种情况下，在一个块中出现的重复的数据列存在于多个块的情况下，重复的数据列整体存储于多个块内的符号表，因而存在降低压缩效率的问题。

因此，本发明提供在向所要压缩的数据中插入新数据或出现在一个块的重复的数据列存在于多个块的情况下，也能够提高压缩效率的数据压缩装置、数据压缩方法及用于该方法的计算机可读取的记录介质。

上述的本发明为数据压缩装置，其特征在于，包括：全局符号表生成部，在输入的数据表的原始数据列中，搜索既定的基准块大小的原始数据列来选定全局压缩对象，并生成对于上述全局压缩对象的全局符号表，局部符号表生成部，在每当输入上述原始数据列时，搜索重复的原始数据列来选定为局部压缩对象，并生成对于上述局部压缩对象的局部符号表，以及数据压缩部，根据上述全局符号表或上述局部符号表压缩上述原始数据列来生成全局压缩数据或局部压缩数据，将上述全局压缩数据或局部压缩数据生成为既定的大小的压缩块；选定为上述局部压缩对象和上述全局压缩对象的原始数据列互不相同。

而且，本发明的特征在于，上述数据压缩部在生成上述全局符号表之前，根据上述局部符号表压缩上述原始数据列来生成上述局部压缩数据。并且，本发明的特征在于，上述数据压缩部在每当输入上述原始数据列时，判断用于存储上述局部压缩数据或全局压缩数据的块的大小是否大于既定的大小，来生成上述压缩块。

而且，本发明的特征在于，上述数据压缩部在存储上述局部压缩数据或全局压缩数据的块的大小大于既定的大小的情况下，将与当前为止输入的上述原始数据列相对应的上述局部压缩数据或全局压缩数据生成为上述压缩块。

而且，本发明的特征在于，上述全局符号表生成部包括：全局缓冲区，临时存储上述原始数据列；全局数据模式搜索部，搜索临时存储的上述原始数据列的出现频率抽取重复的原始数据列来选定上述全局压缩对象；以及全局符号分配部，向上述全局压缩对象分配全局符号。

而且，本发明的特征在于，上述全局数据模式搜索部根据上述重复的原始数据列的长度和出现频率来选定上述全局压缩对象。而且，本发明的特征在于，上述局部符号表生成部包括：局部缓冲区，临时存储上述原始数据列；局部数据模式搜索部，搜索临时存储的上述原始数据列的出现频率抽取重复的原始数据列来选定上述局部压缩对象；以及局部符号分配部，向上述局部压缩对象分配局部符号。

而且，本发明的特征在于，在生成上述全局符号表的情况下，上述局部数据模式搜索部将选定为上述全局压缩对象的原始数据列从上述局部压缩对象中排除。并且，本发明的特征在于，在每当输入上述原始数据列时，上述局部数据模式搜索部更新上述局部压缩对象。而且，本发明的特征在于，上述基准块的大小设定为大于上述压缩块的大小。本发明的特征在于，上述局部符号表存储于上述压缩块内。本发明的特征在于，上述全局符号表存储于与存储上述全局压缩数据及上述局部压缩数据的空间相独立的空间。