[发明专利]数据压缩方法、装置和计算机可读存储介质

说明书

本申请提供了一种数据压缩方法、装置和计算机可读存储介质，该数据压缩方法包括：从待压缩数据对象中获取位置P的待压缩数据；在已压缩数据中查找位置P的第一匹配数据，并确定第一偏移量和第一匹配长度M；在已压缩数据中查找位置P‑i的第二匹配数据，并确定第二偏移量和第二匹配长度N；若M小于N‑i，则将第一偏移量调整为第二偏移量，得到调整后的偏移量，并将第一匹配长度M的终点调整为第二匹配长度N的终点，得到调整后的匹配长度M’；基于调整后的偏移量和调整后的匹配长度M’对位置P的待压缩数据进行替换，以压缩待压缩数据。该数据压缩方式可以提高数据的压缩率。

技术领域

本说明书涉及数据压缩技术领域，具体地，涉及一种数据压缩方法、用于该数据压缩方法的装置和计算机可读存储介质。

背景技术

在大数据技术的应用中，大量的数据一般是在大量的服务器上并行处理的，该些服务器之间会存在大量的信息传输，该些信息需要通过压缩和加密进行传输和保存。数据压缩的硬件实现方式可以减少服务器的任务量，以提高数据的压缩速度。

然而，当前的压缩算法的硬件实现通常在得到匹配信息后直接对数据进行封装输出，这不可避免会存在近距离短匹配拦截等情况，使得数据的压缩率难以进一步提高。

发明内容

本说明书第一方面提供一种数据压缩方法，该数据压缩方法包括：从待压缩数据对象中获取位置P的待压缩数据；在已压缩数据中查找位置P的第一匹配数据，并确定第一偏移量和第一匹配长度M，其中，第一偏移量用于表示位置P相对于第一匹配数据的偏移量，第一匹配长度M用于表示第一匹配数据的长度；在已压缩数据中查找位置P-i的第二匹配数据，并确定第二偏移量和第二匹配长度N，第二偏移量用于表示第二匹配数据相对于位置P-i的偏移量，第二匹配长度N用于表示第二匹配数据的长度，且M、N和i都为正整数；若M小于N-i，则将第一偏移量调整为第二偏移量，得到调整后的偏移量，并将第一匹配长度M的终点调整为第二匹配长度N的终点，得到调整后的匹配长度M’；基于调整后的偏移量和调整后的匹配长度M’对位置P的待压缩数据进行替换，以压缩待压缩数据。

在上述方案中，基于当前的待压缩数据对应的第一匹配长度M，，并获取待压缩数据之前的位置所对应已压缩数据的第二匹配长度N，并比较第一匹配长度M和第二匹配长度N，从而确定待压缩数据的匹配是否被短字符串拦截，且在确定待压缩数据的匹配被短字符串拦截的情况下(上述的M小于N-i)，校正第一匹配长度M(匹配长度M’)，以确定当前的待压缩数据中可以从已压缩数据中进行匹配的数据的终点，如此，通过前向校正的方式调整待压缩数据的匹配信息，从而使得当前的待压缩数据可以获得更大的匹配长度，以提高数据的压缩率。

在本说明书第一方面的一实施方式中，数据压缩方法还可以包括：若M大于或等于N-i，则基于第一偏移量和第一匹配长度M对位置P的待压缩数据进行替换，以压缩待压缩数据。

在上述方案中，在M大于或等于N-i的条件下，确定当前的待压缩数据并未被短字符串拦截，从而可以维持待压缩所述的匹配长度(第一匹配长度M)和可匹配数据的终点位置(可基于第一匹配长度M和第一偏移量确定)。

在本说明书第一方面的一实施方式中，数据压缩方法还可以包括：在位置P-i为上一已压缩数据的结束位置的情况下，执行在已压缩数据中查找位置P-i的第二匹配数据的步骤。

在上述方案中，对每个位置的数据进行压缩时，计算该位置的可匹配数据的结束位置所对应的数据的可匹配长度，以用于对后续位置的待压缩数据的匹配长度进行校正。