[发明专利]基于Hadoop分布式计算平台的存储系统

权利要求书

1.一种基于Hadoop分布式计算平台的存储系统，包括HDFS通用文件处理模块，其特征在于所述系统还包括文件类型判断模块、小文件处理模块和定时模块；所述文件类型判断模块用于判断用户上传的文件是否属于小文件；当用户上传的文件大小小于HDFS文件系统的块时，文件类型判断模块判断文件为小文件，否则文件类型判断模块判断文件为大文件；

定时模块，通过设置定时器计时，到达预定周期时进行统计小文件处理模块中小文件序列的大小，判断小文件序列的大小是否大于HDFS文件系统的块；

小文件处理模块，用于将每个小文件作为一个Record存入SequenceFile类中形成小文件队列；当定时模块判断小文件序列的大小大于HDFS文件系统的块时，以小文件的文件名作为Key值，而文件内容作为Value值，一次性将小文件队列写入MapFile中，并同时删除已处理的小文件。

2.根据权利要求1所述的基于Hadoop分布式计算平台的存储系统，其特征在于所述系统还包括小文件状态数据库，采用MySQL数据库存储小文件的文件名、文件大小、上传日期、存储路径，并使用FileList对象维护该小文件队列；当小文件队列写入MapFile后，更新FileList对象和MySQL数据库后，再删除已处理的小文件。

3.根据权利要求1所述的基于Hadoop分布式计算平台的存储系统，其特征在于所述系统还设置有文件信息表，所述文件信息表设置小文件状态字段flag，flag=0表示小文件处于待处理状态，flag=1表示小文件已处理，并存在于HDFS的MapFile中，flag=2表示小文件重生成写入到本地磁盘中。

4.根据权利要求3所述的基于Hadoop分布式计算平台的存储系统，其特征在于所述系统构建MySQL索引和MapFile索引，MapFile索引通过文件信息表的文件名字段构建索引。

5.一种基于Hadoop分布式计算平台的存储系统的文件上传存储方法，其特征在于所述方法包括以下步骤：

（1）用户向具有基于Hadoop分布式计算平台的存储系统的服务器上传文件；

（2）文件文件类型判断模块判断用户上传的文件是否属于小文件；当上传的文件为大文件时，直接上传存储到HDFS中；当上传的文件为小文件时，将每个小文件作为一个Record存入SequenceFile类中形成小文件队列，并启动定时模块；

（3）当到达预定周期时进行统计小文件处理模块中小文件序列的大小，判断小文件序列的大小是否大于HDFS文件系统的块；当定时模块判断小文件序列的大小大于HDFS文件系统的块时，以小文件的文件名作为Key值，而文件内容作为Value值，一次性将小文件队列写入MapFile中，并同时删除已处理的小文件。

6.一种基于Hadoop分布式计算平台的存储系统的文件下载读取方法，其特征在于所述方法包括以下步骤：

（1）用户向具有基于Hadoop分布式计算平台的存储系统的服务器发送下载文件；

（2）具有基于Hadoop分布式计算平台的存储系统判断文件是否存储在本地磁盘；

（3）当文件存在于本地磁盘，直接通过下载组件访问下载；

（4）当文件不存在于本地磁盘，具有基于Hadoop分布式计算平台的存储系统启动MYSQL索引和MapFile索引，先将小文件从MapFile中读取到本地磁盘，然后通过下载组件访问下载。