[发明专利]基于分布式文件系统的小文件存储方法及装置

权利要求书

1.一种基于分布式文件系统的小文件存储方法，其特征在于，该方法包括：

基于表征待存储小文件的关联性的信息生成唯一对应的查询索引；

为生成的所述查询索引分配对应的数据分表，并建立所述查询索引与所述数据分表之间的映射关系；所述数据分表为预设的逻辑二维表，包括由预设大小的逻辑存储单元构成的若干逻辑行和逻辑列；所述待存储文件包括文件类型和大小均不相同的批量小文件；

将所述待存储小文件中存在关联性的小文件分别存储至所述数据分表中的同一逻辑行或者同一逻辑列；

针对所述存在关联性的小文件分别生成唯一对应的文件索引，并将该文件索引保存至对应的逻辑行或者逻辑列中。

2.根据权利要求1所述的方法，其特征在于，所述将所述待存储小文件中存在关联性的小文件分别存储至所述数据分表中的同一逻辑行或者同一逻辑列包括:

依次读取所述待存储小文件中存在关联性的小文件；

在所述数据分表中为所述待存储小文件中存在关联性的小文件分别指定逻辑行或者逻辑列；

基于所述逻辑行或者逻辑列的逻辑存储地址将所述存在关联性的小文件分别存储至指定的同一逻辑行或者同一逻辑列中。

3.根据权利要求2所述的方法，其特征在于，所述基于所述逻辑行或者逻辑列的逻辑存储地址将所述存在关联性的小文件存储至指定的同一逻辑行或者同一逻辑列中包括：

从所述存在关联性的小文件中依次读取目标小文件；

判断读取到的所述目标小文件的大小是否大于所述逻辑存储单元的大小；

当读取到的所述目标小文件的大小小于或者等于所述逻辑存储单元的大小时，基于所述逻辑行或者逻辑列的逻辑存储地址将所述目标小文件的文件内容存储至同一逻辑行或者同一逻辑列中；

当读取到的所述目标小文件的大小大于所述逻辑存储单元的大小时，基于所述逻辑行或者逻辑列的逻辑存储地址将所述目标小文件的文件内容分片存储至同一逻辑行或者同一逻辑列；或者对所述目标小文件进行单独存储，将所述目标小文件的存储位置提示信息存储至同一逻辑行或者同一逻辑列中。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

当为所述存在关联性的小文件指定的为逻辑行时，在将所述存在关联性的小文件分别存储至指定的同一逻辑行后，所述数据分表中同一逻辑列中存储的小文件的文件类型相同；

当为所述存在关联性的小文件指定的为逻辑列时，在将所述存在关联性的小文件分别存储至指定的同一逻辑列后，所述数据分表中同一逻辑行中的存储的小文件的文件类型相同。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

针对所述数据分表生成对应的分表索引；

其中，所述分表索引包括针对所述数据分表中各逻辑行或者逻辑列中所存储的文件类型的描述信息。

6.根据权利要求1所述的方法，其特征在于，所述表征待存储小文件的关联性的信息包括所述待存储小文件的来源信息以及业务类型信息；

所述待存储小文件的来源信息包括所述待存储小文件的url地址；所述业务类型信息包括业务ID；

所述待存储小文件中存在关联性的小文件包括所述待存储小文件中处于同一目标页面中的小文件；或者所述待存储小文件中业务类型相同的小文件；

所述文件索引包括针对所述目标页面的url地址进行哈希计算得到的哈希值；或者与所述业务类型对应的业务ID；

所述查询索引包括针对所述待存储文件的url地址进行哈希计算得到的哈希值。