[发明专利]基于Hadoop分布式计算平台的存储系统

摘要

本发明公开了一种基于Hadoop分布式计算平台的存储系统，包括HDFS通用文件处理模块、文件类型判断模块、小文件处理模块和定时模块；所述文件类型判断模块用于判断用户上传的文件是否属于小文件；定时模块，通过设置定时器计时，到达预定周期时进行统计小文件处理模块中小文件序列的大小，判断小文件序列的大小是否大于HDFS文件系统的块；小文件处理模块，用于将每个小文件作为一个Record存入SequenceFile类中形成小文件队列。该系统减少了HDFS中小文件的数量，有效地提高了HDFS中文件读取的性能。

主权项

一种基于Hadoop分布式计算平台的存储系统，包括HDFS通用文件处理模块，其特征在于所述系统还包括文件类型判断模块、小文件处理模块和定时模块；所述文件类型判断模块用于判断用户上传的文件是否属于小文件；当用户上传的文件大小小于HDFS文件系统的块时，文件类型判断模块判断文件为小文件，否则文件类型判断模块判断文件为大文件；定时模块，通过设置定时器计时，到达预定周期时进行统计小文件处理模块中小文件序列的大小，判断小文件序列的大小是否大于HDFS文件系统的块；小文件处理模块，用于将每个小文件作为一个Record存入SequenceFile类中形成小文件队列；当定时模块判断小文件序列的大小大于HDFS文件系统的块时，以小文件的文件名作为Key值，而文件内容作为Value值，一次性将小文件队列写入MapFile中，并同时删除已处理的小文件。