[发明专利]基于文件系统的海量小文件处理方法、系统及存储介质

权利要求书

1.一种基于文件系统的海量小文件处理方法，其特征在于，所述方法包括步骤：

文件列表信息获取步骤，解析文件系统，获取指定目录的文件列表信息，其中，所述文件列表信息包括：指定目录及其子目录下全部目标文件的属性文件序号、父目录属性文件序号、数据大小和文件名；指定目录下全部子目录的属性文件序号、父目录属性文件序号和文件名；

第一判断步骤，根据所述文件列表信息，判断所述目标文件对应的属性文件是否读入内存；

第一读入步骤，如果否，将所述目标文件对应的属性文件及其相邻属性文件读入内存后执行文件数据定位步骤；如果是，则执行文件数据定位步骤；

文件数据定位步骤，解析内存中的所述目标文件对应的属性文件，定位目标文件的文件数据；

第二判断步骤，判断所述目标文件的文件数据是否读入内存；

第二读入步骤，如果否，将所述目标文件的文件数据及其相邻文件数据读入内存后执行文件数据写入步骤;如果是，则执行文件数据写入步骤；

文件数据写入步骤，将内存中的所述目标文件的文件数据写入指定文件，并获取所述目标文件的偏移记录；

重复步骤，重复第一判断步骤至文件数据写入步骤，直至遍历完全部目标文件的属性文件序号。

2.根据权利要求1所述的基于文件系统的海量小文件处理方法，其特征在于，所述文件列表信息获取步骤，包括：

打开指定目录所在的设备，获取指定目录的属性文件；

解析所述指定目录的属性文件，获取指定目录的目录项；

遍历并解析所述指定目录的目录项，获取指定目录的文件列表信息。

3.根据权利要求1所述的基于文件系统的海量小文件处理方法，其特征在于，所述文件系统包括：NTFS文件系统、XFS文件系统或EXT4文件系统。

4.根据权利要求1所述的基于文件系统的海量小文件处理方法，其特征在于，在所述文件列表信息获取步骤中，所述文件列表信息还包括：指定目录及其子目录下全部目标文件的创建时间或修改时间；

在所述第一判断步骤之前，还包括排序步骤:

根据所述创建时间或修改时间，对全部所述属性文件序号进行升序或降序排列。

5.根据权利要求1所述的基于文件系统的海量小文件处理方法，其特征在于，所述文件数据定位步骤，包括：

解析内存中的所述目标文件对应的属性文件，获取目标文件的文件数据索引；

根据所述目标文件的文件数据索引，获取目标文件的文件数据位置。

6.一种基于文件系统的海量小文件处理系统，其特征在于，所述系统，包括：

文件列表信息获取模块，用于解析文件系统，获取指定目录的文件列表信息，其中，所述文件列表信息包括：指定目录及其子目录下全部目标文件的属性文件序号、父目录属性文件序号、数据大小和文件名；指定目录下全部子目录的属性文件序号、父目录属性文件序号和文件名；

第一判断模块，用于根据所述文件列表信息，判断所述目标文件对应的属性文件是否读入内存；

第一读入模块，用于如果否，将所述目标文件对应的属性文件及其相邻属性文件读入内存后执行文件数据定位模块；如果是，则执行文件数据定位模块；

文件数据定位模块，用于解析内存中的所述目标文件对应的属性文件，定位目标文件的文件数据；

第二判断模块，用于判断所述目标文件的文件数据是否读入内存；

第二读入模块，用于如果否，将所述目标文件的文件数据及其相邻文件数据读入内存后执行文件数据写入模块;如果是，则执行文件数据写入模块；

文件数据写入模块，用于将内存中的所述目标文件的文件数据写入指定文件，并获取所述目标文件的偏移记录；

重复模块，用于重复第一判断模块至文件数据写入模块，直至遍历完全部目标文件的属性文件序号。