[发明专利]一种分布式小文件的存储、读取方法、装置及存取系统

权利要求书

1.一种分布式小文件的存储方法，其特征在于，创建Hbase表；还包括：

针对于待存储的每一个小文件，均执行：

确定当前小文件的内容、唯一标识以及元数据信息；

根据所述元数据信息，将所述当前小文件的所述内容存储至相应的序列化文件SequenceFile中；

确定所述内容在相应的所述SequenceFile中的起始偏移和终止偏移；

确定所述SequenceFile的位置信息；

将所述唯一标识、所述起始偏移、所述终止偏移以及所述SequenceFile的位置信息对应存储在所述Hbase表中。

2.根据权利要求1所述的方法，其特征在于，所述将所述唯一标识、所述起始偏移、所述终止偏移以及所述SequenceFile的位置信息对应存储在所述Hbase表中，包括：

将所述唯一标识、所述起始偏移、所述终止偏移、所述SequenceFile的位置信息以及所述元数据信息对应存储在所述Hbase表中。

3.根据权利要求1或2任一所述的方法，其特征在于，

所述根据所述元数据信息，将所述当前小文件的所述内容存储至相应的序列化文件SequenceFile中，包括：

根据预设的存储规则，判断是否存在与所述元数据信息相对应的所述SequenceFile；

如果是，则将所述当前小文件的所述内容追加至所述SequenceFile中；

如果否，则创建与所述元数据信息相对应的所述SequenceFile，并将所述当前小文件的所述内容存储至创建出的所述SequenceFile中。

4.一种分布式小文件的读取方法，其特征在于，包括：

接收携带有至少一个检索词的读取请求；

从Hbase表中查找与所述至少一个检索词相对应的至少一个唯一标识；

从所述Hbase表中查找与所述至少一个唯一标识相对应的起始偏移、终止偏移以及SequenceFile的位置信息；

根据查找的所述SequenceFile的位置信息，从所述SequenceFile中读取由所述起始偏移至所述终止偏移的内容。

5.根据权利要求4所述的方法，其特征在于，

所述从Hbase表中查找与所述至少一个检索词相对应的至少一个唯一标识，包括：

从所述Hbase表中查找包括有所述至少一个检索词的至少一个元数据信息；从所述Hbase表中查找与所述至少一个元数据信息相对应的所述至少一个唯一标识。

6.一种分布式小文件的存储装置，其特征在于，包括：

创建单元，用于创建Hbase表；

确定单元，用于针对于待存储的每一个小文件，确定当前小文件的内容、唯一标识以及元数据信息；

存储单元，用于根据所述元数据信息，将所述当前小文件的所述内容存储至相应的序列化文件SequenceFile中；

索引单元，用于确定所述内容在相应的所述SequenceFile中的起始偏移和终止偏移；确定所述SequenceFile的位置信息；将所述唯一标识、所述起始偏移、所述终止偏移以及所述SequenceFile的位置信息对应存储在所述Hbase表中。

7.根据权利要求6所述的装置，其特征在于，

所述索引单元，用于将所述唯一标识、所述起始偏移、所述终止偏移、所述SequenceFile的位置信息以及所述元数据信息对应存储在所述Hbase表中。

8.根据权利要求6或7任一所述的装置，其特征在于，

所述存储单元，用于根据预设的存储规则，判断是否存在与所述元数据信息相对应的所述SequenceFile；

如果是，则将所述当前小文件的所述内容追加至所述SequenceFile中；

如果否，则创建与所述元数据信息相对应的所述SequenceFile，并将所述当前小文件的所述内容存储至创建出的所述SequenceFile中。