[发明专利]数据压缩的方法和装置

权利要求书

1.一种数据压缩的方法，其特征在于，包括：

根据原始数据生成用于数据相似性检测的数字指纹；

根据所述数字指纹确定与所述原始数据具有数据相似性的数据块，将所述原始数据路由到确定的数据块的压缩进程；

执行所述确定的数据块的压缩进程，完成对所述原始数据的压缩。

2.根据权利要求1所述的方法，其特征在于，所述根据所述数字指纹确定与所述原始数据具有数据相似性的数据块，将所述原始数据路由到确定的数据块的压缩进程，具体包括：

获取数据块的数字指纹范围，将所述数字指纹与所述数据块的数字指纹范围进行比对，将所述数字指纹所落入的数字指纹范围对应的数据块确定为与所述原始数据具有数据相似性的数据块，并将所述数据指纹对应的所述原始数据路由到所述确定的数据块的压缩进程。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

当所述数字指纹不在任何数据块的数字指纹范围内，则新建压缩进程；并将所述原始数据路由到该新建的压缩进程，执行所述新建的压缩进程，完成对所述原始数据的压缩，生成新的数据块，并指定所述数字指纹为所述新建的数据块的主数字指纹。

4.根据权利要求1-3任一所述的方法，其特征在于，所述数据块的数字指纹范围在确认要新建数据块时被设置，具体包括：

以原始数据生成的用于数据相似性检测的数字指纹作为主数字指纹；

以所述主数字指纹作为中心，并以到所述中心的汉明距离作为所述新建数据块的数字指纹范围。

5.根据权利要求1-4任一所述的方法，其特征在于，所述方法还包括：获取所述数据块和/或数据块的压缩进程的即时状态，并根据所述即时状态和压缩策略确定是否新建数据块和/或新建压缩进程。

6.根据权利要求5所述的方法，其特征在于，所述即时状态和压缩策略包括：

当前数据块的大小是否在压缩策略限定的范围内，如果到达限定的数据块大小范围，则新建数据块；

当前数据块的压缩进程中排队等待完成压缩的原始数据个数是否超过压缩策略的阈值，如果超过所述阈值，则新建压缩进程。

7.根据权利要求1-6任一所述的方法，其特征在于，所述根据原始数据生成用于数据相似性检测的数字指纹前，所述方法还包括：

利用分布式并行方式加载需要进行压缩的各原始数据。

8.根据权利要求1-7任一所述的方法，其特征在于，所述执行所述确定的数据块的压缩进程，完成原始数据的压缩，具体包括：

将所述原始数据和确定的数据块作为所述压缩进程的压缩参数，并按照字典压缩算法重新生成数据块。

9.一种数据压缩的装置，其特征在于，包括数字指纹生成器、数据路由模块和压缩模块：

所述数字指纹生成器用于根据原始数据生成用于数据相似性检测的数字指纹;

所述数据路由模块用于根据所述数字指纹生成器生成的所述数字指纹确定与所述原始数据具有数据相似性的数据块，将所述原始数据路由到确定的所述数据块的压缩进程；

所述压缩模块用于执行所述确定的数据块的压缩进程，完成原始数据的压缩。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括主控模块：

所述主控模块用于向所述数据路由模块提供所述数据块的数字指纹范围；

所述数据路由模块具体用于将所述数字指纹与所述数据块的数字指纹范围进行比对，将所述数字指纹所落入的数字指纹范围对应的数据块确定为与所述原始数据具有数据相似性的数据块，并将所述数据指纹对应的所述原始数据路由到所述确定的数据块的压缩进程。

11.根据权利要求10所述的装置，其特征在于所述主控模块还用于：

当所述数据路由模块确定所述数字指纹不在任何数据块的数字指纹范围内，则新建压缩进程；

所述数据路由模块还用于将所述原始数据路由到所述新建的压缩进程；

所述压缩模块执行所述新建的压缩进程，完成原始数据的压缩，生成新的数据块。

所述主控模块还用于设置所述数字指纹为所述新建的数据块的主数字指纹。