[发明专利]数据压缩方法、控制器、设备、介质及程序产品

说明书

本申请提供了一种数据压缩方法，包括：获取多个第一待压缩数据块，根据多个第一待压缩数据块的相似度，将多个第一待压缩数据块中相似度高于第一阈值的第一数据块分至第一组，接着对第一组中的数据块进行差量压缩，并将压缩后的数据存储至所述存储介质。由于是按照不同数据块的相似度进行分组、压缩，故可以大大减少压缩后的数据量，提高压缩效率。

技术领域

本申请涉及存储技术领域，尤其涉及一种数据压缩方法、控制器、设备、计算机可读存储介质以及计算机程序产品。

背景技术

随着互联网时代尤其是移动互联网的时代的到来，数据呈现爆炸式增长趋势，互联网服务提供商需要不断购置大量的存储设备以应对不断增长的存储需求。然而，单纯地提高存储容量并不能从根本上解决问题。首先，存储设备的采购成本越来越高，大多数企业难以承受如此巨大的开支。其次，随着数据中心的扩大，存储管理成本、占用空间、制冷能力、能耗等也都变得越来越严重，其中能耗尤为突出。再者，大量的异构设备大大增加了存储管理的复杂性，容易造成存储资源浪费和利用率不高。

业界提出了对数据进行缩减，以实现高效存储的方案。对数据进行缩减的关键手段包括重复数据删除(也可以简称为重删，data deduplication)、数据压缩。其中，重删是指对于存在重复的多份数据，构建多个逻辑地址到一个物理地址的映射，仅在该物理地址对应位置存储一份数据。压缩是指对数据进行编码，从而实现利用更小的数据量表示更多的数据。

数据的分块粒度对于重删和数据压缩的效果有较大的影响。分块粒度越小，重删效果越好；分块粒度越大，压缩效果越好。基于此，在将数据分块重删后，可以将重删后的数据块分组合并，例如是按照逻辑地址将连续的数据块分组合并，然后以合并后的数据块进行压缩。然而，这种分组方法数据缩减的量有限，压缩效果不佳。

发明内容

本申请提供了一种数据压缩方法，该方法通过对经过重删后的数据块按照数据块之间的相似度进行分组，然后按照分组对数据块进行合并，并对合并后的数据块进行差量压缩，这样，可以大大减少压缩后的数据量，提高了压缩效率。本申请还提供了上述方法对应的控制器、存储设备、计算机可读存储介质以及计算机程序产品。

第一方面，本申请提供了一种数据压缩方法。该方法可以由存储设备执行。所述存储设备包括控制器和存储介质。其中，控制器获取多个第一待压缩数据块，然后根据所述多个第一待压缩数据块的相似度将所述多个第一待压缩数据块中相似度高于第一阈值的第一数据块分至第一组，接着对所述第一组中的数据块进行差量压缩，并将压缩后的数据存储至所述存储介质(例如是硬盘)。

该方法通过将待压缩数据块按照相似度进行分组，然后对分组后的数据块进行合并，如此可以提高合并后的数据块的冗余度，基于该合并后的数据块进行差量压缩，可以大大减少压缩后的数据量，提高了压缩效率，并且节省了存储空间。

在一些可能的实现方式中，所述控制器还可以将所述多个第一待压缩数据块中除所述第一数据块之外的数据块中逻辑地址连续的第二数据块分至第二组，然后对所述第二组中的第二数据块进行压缩。如此可以增加压缩粒度，由此进一步提高压缩效果，节省更多的存储空间。

在一些可能的实现方式中，所述第一组预设的第一数据块的个数为N个，所述第一组中包括的第一数据块的个数为M个。其中，N为大于等于2的自然数，M为大于等于1的自然数。当M小于N时，控制器还可以获取多个第二待压缩数据块，接着控制器从所述多个第二待压缩数据块中获取与所述第一数据块相似的第三数据块，该第三数据块的数量小于等于N-M，控制器解压第一组中的第一数据块压缩后的数据，并将所述第三数据块添加至所述第一组后，对所述第一组中的数据块进行差量压缩。如此可以保障分组内尽可能包括较多的相似数据块，由此可以提高冗余度，进一步提升压缩率。