[发明专利]一种基于HDFS存储文件的去重方法及装置

说明书

本发明实施例公开了一种基于HDFS存储文件的去重方法及装置。该方法包括：将待去重文件的文件指纹，与已存储文件的文件指纹进行比对；如果比对结果为相同，根据所述待去重文件的文件标识计算链接标识；以所述链接标识和相同的已存储文件在存储节点中的存储地址，替换所述待去重文件的文件内容，作为所述待去重文件的文件标识的键值存储到存储节点中。通过本发明的技术方案，有效去除内容重复的文件，减少文件数量，节约存储空间，提升系统性能。

技术领域

本发明实施例涉及非结构化数据存储技术，尤其涉及一种基于HDFS存储文件的去重方法及装置。

背景技术

Hadoop分布式文件系统(Hadoop Distributed File System，简称HDFS)是对超大规模数据集提供可靠存储功能的系统，建立在响应以“一次写入，多次读取”任务的基础上，对用户应用程序提供高带宽的输入输出数据流。HDFS具有高容错性，可以运行在低廉的硬件集群上。采用MASTER/SLAVES的主从架构，一个HDFS集群由一个Namenode节点(管理节点)和多个Datanode节点(存储节点)组成。管理节点是一个中心服务器，负责管理文件系统的元数据和客户端对文件的访问。管理节点存储着文件的元数据，因此管理节点的内存容量限制了文件的数量。HDFS默认会将文件分割成block(存储块)，例如64M为1个存储块。然后将各存储块以键值对的形式存储在HDFS的存储节点中,并将键值对的映射存到内存中。每个文件、存储块以及索引目录在内存中均以对象的形式存储，每个对象约占150字节。举例来说，如果有1000000个小文件，每个文件占用一个存储块，则管理节点就至少需要300M的内存；如果存储1亿甚至更多的文件时，需要20G甚至更多的内存容量，解决办法是搭建支持集群的内存数据库，但增加系统成本。如果小文件太多，占用过多的内存资源，影响集群性能，需要对小文件进行合并，减少文件数量。

然而，在实际互联网应用中，存在着海量的小文件，尤其是随着博客、微博、Facebook等社交网站的兴起，改变了互联网存储内容的方式。用户基本上已经成为互联网内容的创造者，其数据具有海量、多样、动态变化等特点，由此产生了海量小文件，如状态文件、用户资料、头像等。这些数据按照数据的存储格式可以分为结构化数据和非结构化数据。结构化数据具有相同的层次和网格结构，可以用数字或文字来描述；而有一些信息则无法用数字或者统一的结构表示，例如，扫描图像、传真、照片、计算机生成的报告、字处理文档、电子表格、演示文稿、语音和视频等，这些即为非结构化数据。非结构化数据在经过结构化的提取之后，需要把原始文件进行保存，以供后续使用。

在很多领域中，非结构化数据所占比例远远高于结构化数据所占比例。非结构化数据信息量非常大，如果直接存储于数据库中，除了大幅度加大数据库的容量外，还会降低维护和应用的效率。尤其是在互联网获得的非结构化数据往往具有重复性，热点事件在短时间内会带来大量的网民关注，导致少量非结构化数据在短时间内被大量重复利用,占用系统存储空间。现有技术中，采用压缩技术对数据按照一定的比例进行压缩，但是非结构化数据不具备严格的结构，较之结构化信息更难以标准化，管理起来更困难。针对这些特点，目前HDFS存储的海量非结构化小文件采用Mapfile技术合并为大文件后，没有经过压缩处理，占用的存储空间多，因此，如何去除海量非结构化数据中重复的内容，节约存储空间是急需解决的问题。

发明内容

本发明实施例提供一种基于HDFS存储文件的去重方法及装置，以使HDFS处理存储的海量非结构化小文件时，有效去重，节约存储空间。

第一方面，本发明实施例提供了一种基于HDFS存储文件的去重方法，包括：

将待去重文件的文件指纹，与已存储文件的文件指纹进行比对；

如果比对结果为相同，根据所述待去重文件的文件标识计算链接标识；

以所述链接标识和相同的已存储文件在存储节点中的存储地址，替换所述待去重文件的文件内容，作为所述待去重文件的文件标识的键值存储到存储节点中。