[发明专利]一种大数据冗余检测方法

权利要求书

1.一种大数据冗余检测方法，其特征在于，该方法包括如下步骤：

1）在大数据系统的数据库内建立所有文件的哈希值表FH_table以及各个数据块的哈希值表BH_table；

2）当大数据系统需要存储一个新文件时，计算该文件的哈希值，同时检查FH_table里是否存储有该文件的哈希值，如果有，则确认该文件是冗余数据，方法结束；如果没有，则在FH_table中记录该文件的哈希值；

3）将该文件作为一个数据单元加入数据检测集合，该数据检测集合是待检测的数据单元的集合；

4）判断该数据检测集合是否为空集，如果是，则方法结束，如果不是，继续执行后续步骤；

5）从数据检测集合中取出一个数据单元，计算该数据单元的哈希值，检测BH_table和FH_table里是否有该数据单元的哈希值，如果有，则确认该数据单元是冗余数据，并返回步骤4；如果没有，则继续后续步骤；

6）判断该数据单元的大小是否小于Blocksize，所述Blocksize是一个预定义的阈值，如果小于，则存储该数据单元，并将该数据单元的哈希值记录在BH_table中，同时返回步骤4，否则继续后续步骤；

7）设该数据单元的大小为L字节，随机生成一个自然数R，使得其满足

1≤R≤L-Blocksize+1；

从而在该数据单元中确定一个定长数据块，该定长数据块包括该数据单元的第R个字节到第R+Blocksize-1个字节；

8）对该数据块在数据单元中的位置进行扩展，获得一个不定长数据块；

9）计算所述不定长数据块的哈希值，判断该不定长数据块的哈希值是否记录在BH_table或FH_table中，如果是，则该不定长数据块是冗余数据；如果不是，则存储该不定长数据块，并将其哈希值记录在BH_table中；

10）将所述数据单元去除该不定长数据块后，所剩下的每个数据块都作为一个数据单元加入数据检测集合，并返回步骤4。

2.根据权利要求1所述的一种大数据冗余检测方法，其特征在于：所述的步骤8）中对数据块在数据单元中的位置进行扩展的具体步骤如下：

8.1）判断该数据块的前边界是否是该数据单元的第1个字节，如果是，则转步骤8.3，否则继续后续步骤；

8.2）获取该数据块的前边界的字节，计算其是否满足预定的条件，如果不满足，则将该数据块的前边界向前移动一个字节，并返回步骤8.1，否则继续执行后续步骤；

8.3）判断该数据块的后边界是否为数据单元的最后一个字节，如果是，扩展方法结束，否则继续后续步骤；

8.4）获取该数据块后边界的字节，计算其是否满足预定的条件，如果不满足，将数据块的后边界向后移动一个字节，并返回步骤8.3），如果满足，则扩展方法结束。

3.根据权利要求2所述的一种大数据冗余检测方法，其特征在于，所述的步骤8.2）包括计算该数据块的前边界所在的字节是否等于预定义的边界向量，如果相等，则认为前边界满足预定条件。

4.根据权利要求2所述的一种大数据冗余检测方法，其特征在于：所述的步骤8.2）包括计算该数据块的前边界所在的字节是否等于边界向量，如果相等，则认为前边界满足预定条件；其中所述边界向量根据该数据单元计算得到，即扫描该数据单元的所有字节，统计不同字节出现的次数，选取出现次数最少的字节作为该边界向量，如果出现次数最少的字节有多个，则从中选取在该数据单元中位置最靠前的一个作为该边界向量。

5.根据权利要求2所述的一种大数据冗余检测方法，其特征在于：所述的步骤8.2）包括获取该数据块前边界所在的字节H₀以及H₀之后的7个字节，依次是H₁,H₂,……,H₇，通过下述公式计算动态边界向量DH，即

DH=H₀⊕(H₁<<1)⊕(H₂<<2)⊕……⊕(H₇<<7)，

判断DH是否等于预定义的边界向量值，如果相等，则认为前边界满足预定条件。