[发明专利]一种基于HDFS存储文件的去重方法及装置

权利要求书

1.一种基于HDFS存储文件的去重方法，其特征在于，包括：

将待去重文件的文件指纹，与已存储文件的文件指纹进行比对；

如果比对结果为相同，根据所述待去重文件的文件标识计算链接标识；

以所述链接标识和相同的已存储文件在存储节点中的存储地址，替换所述待去重文件的文件内容，作为所述待去重文件的文件标识的键值存储到存储节点中；

将待去重文件的文件指纹，与已存储文件的文件指纹进行比对之前，还包括：

将接收到的文件存储至所述存储节点中设定区域中，并标记为未去重处理区域；

从所述未去重处理区域中逐一获取文件，作为待去重文件。

2.根据权利要求1所述的方法，其特征在于，将接收到的文件存储至所述存储节点中设定区域中包括：

为接收到的文件生成主键，作为文件标识；

将所述文件的文件内容转换为二进制数据，与所述文件标识对应存储至所述存储节点中设定区域中。

3.根据权利要求1所述的方法，其特征在于，将接收到的文件存储至所述存储节点中设定区域中包括：

按照文件的接收日期，将接收到的文件存储至所述存储节点中不同的设定区域中。

4.根据权利要求1所述的方法，其特征在于，根据所述待去重文件的文件标识计算链接标识包括：

对所述待去重文件的文件标识计算32位MD5值，作为所述链接标识。

5.根据权利要求1所述的方法，其特征在于，以所述链接标识和相同的已存储文件在存储节点中的存储地址，替换所述待去重文件的文件内容，作为所述待去重文件的文件标识的键值存储到存储节点中之后，还包括：

根据所述存储节点中各文件标识及对应键值的存储位置，重写所述存储节点的索引文件。

6.根据权利要求1-5任一所述的方法，其特征在于，还包括：

根据接收到的文件读取请求，获取待读取文件的文件标识；

根据所述文件标识计算对应的链接标识；

根据所述文件标识从存储节点中读取对应的键值的设定位数据；

如果比对所述链接标识与所述设定位数据匹配，则从所述键值中读取存储地址；

根据所述存储地址在所述存储节点中定位查找对应的文件，并读取后响应所述文件读取请求。

7.一种基于HDFS存储文件的去重装置，其特征在于，包括：

指纹比对模块，用于将待去重文件的文件指纹，与已存储文件的文件指纹进行比对；

链接标识计算模块，用于如果比对结果为相同，根据所述待去重文件的文件标识计算链接标识；

内容替换模块，用于以所述链接标识和相同的已存储文件在存储节点中的存储地址，替换所述待去重文件的文件内容，作为所述待去重文件的文件标识的键值存储到存储节点中；

文件存储模块，用于将待去重文件的文件指纹，与已存储文件的文件指纹进行比对之前，将接收到的文件存储至所述存储节点中设定区域中，并标记为未去重处理区域；

文件获取模块，用于从所述未去重处理区域中逐一获取文件，作为待去重文件。

8.根据权利要求7所述的装置，其特征在于，所述文件存储模块包括：

主键生成单元，用于为接收到的文件生成主键，作为文件标识；

内容转换单元，用于将所述文件的文件内容转换为二进制数据，与所述文件标识对应存储至所述存储节点中设定区域中。

9.根据权利要求7所述的装置，其特征在于，所述文件存储模块具体用于：

按照文件的接收日期，将接收到的文件存储至所述存储节点中不同的设定区域中。

10.根据权利要求7所述的装置，其特征在于，所述链接标识计算模块具体用于：

对所述待去重文件的文件标识计算32位MD5值，作为所述链接标识。