[发明专利]一种提高压缩卡压缩效率的方法、装置及设备

说明书

本发明提出一种提高压缩卡压缩效率的方法、装置及设备。方法包括以下步骤：根据对原始数据分段的预定义分段次数和搜索缓冲区的预定义长度值确定对所述原始数据分段的长度值；根据当前分段中的最长重复字符串的长度值对所述当前分段中的所述搜索缓冲区的长度值进行更新，得到所述当前分段对应的所述搜索缓冲区的更新长度值；对所述原始数据从所述当前分段的起始位置按照所述搜索缓冲区的更新长度值进行压缩；从所述当前分段完成压缩的终止位置按照分段的长度值进行下一次分段及压缩，重复直至所述原始数据完成压缩。本发明公开的方案降低了存储系统中内存的使用率，提高了压缩卡对数据压缩的效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种提高压缩卡压缩效率的方法、装置及设备。

背景技术

存储领域中，大量使用压缩卷来减少数据的体积，“压缩”会大量消耗系统资源，例如CPU和内存，为解决这一问题，“压缩卡”这一辅助设备便应运而生。“压缩卡”是专用于压缩数据的外置协助处理设备，它与存储服务器通过PCIe(peripheral componentinterconnect express，高速串行计算机扩展总线标准)总线连接，需要压缩的数据直接进入“压缩卡”的CPU，压缩完成的数据再被送到存储服务器内。

对于通过压缩卡压缩后的数据体积越小越好，以此节省更多的硬盘资源，降低用户成本。现有技术中在压缩卡中进行压缩的方式，通过一个固定缓冲区(WindowSize)对数据进行压缩，WindowSize包括搜索缓冲区(search buffer)和预读缓冲区(look-aheadbuffer)，这两部分也都是固定值，其中搜索缓冲区存放已经被编码处理的数据，预读缓冲区存放未被编码处理的数据。具体地说，原始数据先读入预读缓冲区，再取出和搜索缓冲区的数据进行比对，检查是否相同；若有相同，原始数据就会被压缩，检查到的相同数据越多，得到的压缩率越优，压缩效果越好。

现有技术中这种压缩方式存在的问题是WindowSize的两个缓冲区的长度是固定值，导致在处理不同的原始数据时，不能随机更改WindowSize大小，不能针对具体的原始数据对压缩过程进行相适应的调整，不利于提高压缩效率。

发明内容

有鉴于此，本发明提出了一种提高压缩卡压缩效率的方法、装置及设备，其中，本发明提出的一种提高压缩卡压缩效率的方法通过设定一个与待压缩的原始数据相适应的搜索缓冲区和预读缓冲区大小，参考被压缩原始数据中的重复字符串最大长度设置搜索缓冲区和预读缓冲区大小。由于不同的原始数据的重复字符串最大长度是不一样的，基于此将WindowSize大小由固定值更改为依据原始数据得出的自适应值，以此达到最优的压缩率。

基于以上目的，本发明的实施例的一个方面提供了一种提高压缩卡压缩效率的方法，所述方法包括以下步骤：根据对原始数据分段的预定义分段次数和搜索缓冲区的预定义长度值确定对所述原始数据分段的长度值；根据当前分段中的最长重复字符串的长度值对所述当前分段中的所述搜索缓冲区的长度值进行更新，得到所述当前分段对应的所述搜索缓冲区的更新长度值；对所述原始数据从所述当前分段的起始位置按照所述搜索缓冲区的更新长度值进行压缩；从所述当前分段完成压缩的终止位置按照分段的长度值进行下一次分段及压缩，重复直至所述原始数据完成压缩。

在一些实施例中，所述方法还包括：根据当前分段的所述搜索缓冲区的长度值对用于存放未压缩的数据的预读缓冲区的长度值进行更新，得到所述当前分段对应的所述预读缓冲区的更新长度值。

在一些实施例中，所述对所述原始数据从所述当前分段的起始位置按照所述搜索缓冲区的更新长度值进行压缩包括：

根据当前分段对应的所述搜索缓冲区的更新长度值、所述预读缓冲区的更新长度值以及前分段的起始位置对所述原始数据进行压缩。