[发明专利]在分布式存储系统中去除文件的重复的装置及方法

权利要求书

1.一种文件重复去除装置，用于在分布式存储系统中去除文件的重复，其特征在于，包括：

指纹识别部，其对活动文件对应每个组块计算出哈希值，并将所述对应每个组块计算出的哈希值相加来计算出二次哈希值；

重复性检查部，其利用所述对应每个组块的哈希值及二次哈希值来检查文件的重复性；以及

重复文件去除部，其根据所述检查结果去除重复的文件。

2.根据权利要求1所述的文件重复去除装置，其特征在于，所述重复性检查部利用所述对应每个组块的哈希值及二次哈希值进行组块单位比较、文件单位比较、比特单位比较中的至少一种来检查文件的重复性。

3.根据权利要求1或2所述的文件重复去除装置，其特征在于，所述对应每个组块的哈希值存储于组块标题及元数据净荷中，所述二次哈希值存储于元数据标题中。

4.根据权利要求1或2所述的文件重复去除装置，其特征在于，所述对应每个组块的哈希值以组块单位哈希值管理表形态存储于存储器及数据库中的至少一种，所述二次哈希值以文件单位哈希值管理表形态存储于存储器及数据库中的至少一种。

5.根据权利要求4所述的文件重复去除装置，其特征在于，所述重复性检查部先参照所述存储器并再参照所述数据库来执行重复性检查。

6.根据权利要求1或2所述的文件重复去除装置，其特征在于，所述重复文件去除部以文件单位或组块单位去除重复文件。

7.根据权利要求6所述的文件重复去除装置，其特征在于，所述重复文件去除部执行组块单位指针的生成、变更、删除中的至少一种来去除重复文件。

8.根据权利要求1或2所述的文件重复去除装置，其特征在于，还包括元数据管理部，该元数据管理部管理对于所述文件的元数据。

9.一种分布式存储系统，包括：

用于分布存储文件的多个存储服务器；以及

管理对于所述文件的元数据的元数据服务器，

所述分布式存储系统的特征在于，

所述元数据服务器对活动文件对应每个组块计算出哈希值，并将所述对应每个组块计算出的哈希值相加来计算出二次哈希值，利用所述对应每个组块的哈希值及二次哈希值来检查文件的重复性之后，根据所述检查结果去除重复的文件。

10.根据权利要求9所述的分布式存储系统，其特征在于，所述元数据服务器将所述对应每个组块的哈希值存储于元数据净荷中，并将所述二次哈希值存储于元数据标题中。

11.根据权利要求9或10所述的分布式存储系统，其特征在于，所述元数据服务器利用所述对应每个组块的哈希值及二次哈希值进行组块单位比较、文件单位比较、比特单位比较中的至少一种来检查文件的重复性。

12.根据权利要求9或10所述的分布式存储系统，其特征在于，所述元数据服务器执行文件单位重复检查及去除，所述存储服务器单独执行组块单位重复检查及去除。

13.根据权利要求9或10所述的分布式存储系统，其特征在于，还包括数据库，该数据库以组块单位哈希值管理表形态存储所述对应每个组块的哈希值，并以文件单位哈希值管理表形态存储所述二次哈希值。

14.一种文件重复去除方法，用于在分布式存储系统中去除文件的重复，其特征在于，包括如下步骤：

对活动文件对应每个组块计算出哈希值的步骤；

将所述对应每个组块计算出的哈希值相加来计算出二次哈希值的步骤；

利用所述对应每个组块的哈希值及二次哈希值来检查文件的重复性的步骤；以及

根据所述检查结果去除重复的文件的步骤。

15.根据权利要求14所述的文件重复去除方法，其特征在于，

所述检查文件的重复性的步骤包括如下步骤：

基于所述对应每个组块的哈希值及二次哈希值搜索哈希值管理表来执行第一次重复性检查的步骤；以及

所述第一次重复性检查结果存在重复的文件的情况下，执行比特级别比较来执行第二次重复性检查的步骤。

16.根据权利要求14或15所述的文件重复去除方法，其特征在于，所述去除重复的文件的步骤中，执行生成组块单位指针的过程、变更组块单位指针的过程、删除组块单位指针的过程中的至少一种。