[发明专利]数据处理方法及存储设备

权利要求书

1.一种数据处理方法，其特征在于，所述方法由存储设备执行，包括：

获取数据；

基于第一粒度对所述数据进行重复数据删除处理；

基于第二粒度对所述数据进行压缩处理，所述第二粒度的尺寸大于所述第一粒度的尺寸；

将经过所述重复数据删除处理和所述压缩处理的数据存储在所述存储设备的硬盘中。

2.根据权利要求1所述的方法，其特征在于，所述存储设备中存储有元数据，所述元数据是基于元数据管理粒度来管理的，所述元数据管理粒度的尺寸小于或等于设定的最大值，并且大于或等于设定的最小值，所述第一粒度的尺寸等于所述最小值的整数倍。

3.根据权利要求2所述的方法，其特征在于，所述第二粒度的尺寸是所述最小值与压缩率的乘积。

4.根据权利要求1所述的方法，其特征在于，所述基于第一粒度对所述数据进行重复数据删除处理包括：

将所述数据划分为多个数据块；

获取每个数据块的指纹；

根据所述指纹，从所述多个数据块中确定重复块以及非重复块。

5.根据权利要求4所述的方法，其特征在于，所述基于第二粒度对所述数据进行压缩处理包括：

基于所述第二粒度对所述非重复块进行压缩处理，得到压缩块，所述经过所述重复数据删除处理和所述压缩处理的数据包括所述压缩块。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：记录所述压缩块的元数据。

7.根据权利要求6所述的方法，其特征在于，所述记录所述压缩块的元数据包括：

如果所述压缩块的数量为多个且多个所述压缩块的地址连续，为所述多个压缩块记录一条元数据。

8.根据权利要求7所述的方法，其特征在于，所述一条元数据包括所述多个压缩块中第一个压缩块的地址以及每个压缩块的长度。

9.根据权利要求1所述的方法，其特征在于，所述数据在经过所述重复数据删除处理和所述压缩处理之前还基于第三粒度压缩过，所述第三粒度的尺寸小于所述第二粒度的尺寸。

10.根据权利要求1所述的方法，其特征在于，所述存储设备是存储阵列。

11.根据权利要求1所述的方法，其特征在于，所述存储设备是分布式存储系统中的一个存储节点。

12.一种存储设备，其特征在于，包括至少一个处理器和硬盘；

所述至少一个处理器，用于获取数据；基于第一粒度对所述数据进行重复数据删除处理；基于第二粒度对所述数据进行压缩处理，所述第二粒度的尺寸大于所述第一粒度的尺寸；将经过所述重复数据删除处理和所述压缩处理的数据存储在所述硬盘中。

13.根据权利要求12所述的存储设备，其特征在于，所述存储设备中存储有元数据，所述元数据是基于元数据管理粒度来管理的，所述元数据管理粒度的尺寸小于或等于设定的最大值，并且大于或等于设定的最小值，所述第一粒度的尺寸等于所述最小值的整数倍。

14.根据权利要求13所述的存储设备，其特征在于，所述第二粒度的尺寸是所述最小值与压缩率的乘积。

15.根据权利要求12所述的存储设备，其特征在于，所述至少一个处理器，用于将所述数据划分为多个数据块；获取每个数据块的指纹；根据所述指纹，从所述多个数据块中确定重复块以及非重复块。

16.根据权利要求15所述的存储设备，其特征在于，所述至少一个处理器，用于基于所述第二粒度对所述非重复块进行压缩处理，得到压缩块，所述经过所述重复数据删除处理和所述压缩处理的数据包括所述压缩块。