[发明专利]基于Hadoop分布式文件系统的小文件存储方法

摘要

本发明公开一种基于Hadoop分布式文件系统的小文件存储方法，实现步骤为(1)新增两台服务器；(2)判断文件是否是小文件；(3)判断大文件请求状态；(4)判断小文件请求状态；(5)预处理写请求；(6)处理写请求；(7)检测缓存区；(8)预处理读请求；(9)处理读请求；(10)小文件分离；(11)建立预取记录；(12)更新预取记录。本发明相比现有技术存储海量小文件的方法，在保证系统通用性的同时，还具有读写性能效率高、缓解NameNode内存负担的优点，解决了海量小文件时NameNode内存占用率高、存储访问效率低的问题。本发明可用于分布式文件系统对海量小文件的存储和管理。

主权项

一种基于Hadoop分布式文件系统的小文件存储方法，包括如下步骤：(1)新增两台服务器：在Hadoop分布式文件系统HDFS之外，新增一台用于监听文件读写请求的网络服务器Webserver，新增一台用于处理小文件的小文件处理服务器；(2)判断文件是否是小文件：网络服务器Webserver判断监听到的请求文件是否是小于16M的文件，若小于16M则被视为小文件，执行步骤(4)，否则，视为大文件，执行步骤(3)；(3)判断大文件请求状态：网络服务器Webserver判断监听到的大文件读写请求状态，若是大文件写入请求，执行步骤(6)；若是大文件读取请求，执行步骤(9)；(4)判断小文件请求状态：网络服务器Webserver判断监听到的小文件读写请求状态，若是小文件写入请求，执行步骤(5)，若是小文件读取请求，执行步骤(7)；(5)预处理写请求：小文件处理服务器，采用文件合并方法，合并请求写入的小文件，并在合并文件的首部为该小文件建立本地索引，得到合并文件，将合并文件送入Hadoop分布式文件系统HDFS的用户端；(6)处理写请求：Hadoop分布式文件系统HDFS的用户端，将请求写入的大文件或合并文件，写入Hadoop分布式文件系统HDFS，完成写入操作；(7)检测缓存区：(7a)小文件处理服务器检测缓存区中是否存在网络服务器Webserver监听到的读请求文件记录，若存在，小文件处理服务器将缓存区中的读请求文件取出返回给用户，完成读取操作，否则，执行步骤(7b)；(7b)小文件处理服务器检测缓存区中是否存在网络服务器Webserver监听到的读请求文件的元数据信息，若存在，小文件处理服务器直接与HDFS用户端交互，将小文件从HDFS中取出返回给用户，完成读取操作，否则，执行步骤(8)；(8)预处理读请求：根据小文件和合并文件的文件名，小文件处理服务器将收到的请求读取的小文件映射到小文件的合并文件中，并将合并文件送入Hadoop分布式文件系统HDFS的用户端；(9)处理读请求：Hadoop分布式文件系统HDFS的用户端，将接收到的请求读取的大文件或合并文件，从Hadoop分布式文件系统HDFS中读出，得到合并文件的元数据信息与本地索引信息，完成读取操作；(10)分离小文件：小文件处理服务器采用小文件分离方法，从Hadoop分布式文件系统HDFS中读出合并文件，将请求读取的小文件从合并文件中分离出来返回给用户，完成读取操作；(11)建立预取记录：(11a)小文件处理服务器从步骤(9)得到的合并文件的元数据信息与本地索引信息中，提取每个小文件的文件名、数据节点位置、数据块位置、偏移量offset和文件长度length，建立小文件的元数据预取记录；(11b)小文件处理服务器从Hadoop分布式文件系统HDFS中读取与被请求文件同属一个块的小文件，建立该小文件的预取记录；(12)更新预取记录：小文件处理器采用更新预取记录的方法，更新已经预取的小文件的元数据记录和小文件的预取记录。