[发明专利]基于文件系统的海量小文件处理方法、系统及存储介质

说明书

本发明涉及一种基于文件系统的海量小文件处理方法、系统及存储介质，属于计算机数据处理领域。所述方法包括：文件列表信息获取步骤；第一判断步骤；第一读入步骤；文件数据定位步骤；第二判断步骤；第二读入步骤；文件数据写入步骤；重复步骤。所述系统包括：文件列表信息获取模块；第一判断模块；第一读入模块；文件数据定位模块；第二判断模块；第二读入模块；文件数据写入模块；重复模块。本发明能够在多种文件系统下进行操作，使用范围广泛；通过解析文件系统结构，提取属性文件、目录项等关键元数据，并通过元数据与用户数据的双预读机制，实现了海量小文件的高速读写，处理效率较高。

技术领域

本发明属于计算机数据处理领域，涉及基于文件系统的海量小文件处理方法、系统及存储介质。

背景技术

文件系统是操作系统用于明确存储设备或分区上的文件的方法和数据结构，即在存储设备上组织文件的方法。小文件是指文件大小小于或等于1MB的用户文件，常见的小文件有图片、日志和电子邮件等。在如今的信息技术情况下，社交平台、电商等数据密集型应用普及，数据量呈爆炸式增长，进而出现了海量的小文件需要处理。

目前，传统的小文件处理方式是通过系统调用进行处理。系统调用能够把应用程序的请求传给内核，调用相应的的内核函数完成所需的处理，将处理结果返回给应用程序，整个过程简单有效。但是，在面对海量小文件时，对于每个文件来说，系统调用都会涉及文件的打开、读取、关闭操作，这样会极大影响处理性能，造成处理效率下降。

另外，现有技术中也有一些针对海量小文件的处理方法，例如现有技术公开了一种基于文件系统解析的海量小文件备份恢复方法（公开号CN107885616A），该方法首先备份整个文件系统，然后在恢复的时候对文件系统进行解析，实现指定数据的恢复。该方法通过提前对整个文件系统进行备份，能够免去对大量小文件打开关闭操作，减少磁盘的IOPS，提高处理性能。但是，该方法在只需要备份部分小文件的时候，直接备份整个文件系统的开销很大，造成多余消耗，并且该方法的恢复速度也有待提升。

因此，如何帮助用户直接且快速地处理海量小文件，成为当前急需解决的技术问题。

发明内容

本发明为了解决上述背景技术中的技术问题，本发明实施例提供了一种基于文件系统的海量小文件处理方法、系统及存储介质。所述技术方案如下：

第一个方面，提供了一种基于文件系统的海量小文件处理方法，所述方法包括步骤：

文件列表信息获取步骤，解析文件系统，获取指定目录的文件列表信息，其中，所述文件列表信息包括：指定目录及其子目录下全部目标文件的属性文件序号、父目录属性文件序号、数据大小和文件名；指定目录下全部子目录的属性文件序号、父目录属性文件序号和文件名；

第一判断步骤，根据所述文件列表信息，判断所述目标文件对应的属性文件是否读入内存；

第一读入步骤，如果否，将所述目标文件对应的属性文件及其相邻属性文件读入内存后执行文件数据定位步骤；如果是，则执行文件数据定位步骤；

文件数据定位步骤，解析内存中的所述目标文件对应的属性文件，定位目标文件的文件数据；

第二判断步骤，判断所述目标文件的文件数据是否读入内存；

第二读入步骤，如果否，将所述目标文件的文件数据及其相邻文件数据读入内存后执行文件数据写入步骤;如果是，则执行文件数据写入步骤；

文件数据写入步骤，将内存中的所述目标文件的文件数据写入指定文件，并获取所述目标文件的偏移记录；

重复步骤，重复第一判断步骤至文件数据写入步骤，直至遍历完全部目标文件的属性文件序号。

可以理解的是，上述指定目录及其子目录下全部目标文件的属性文件序号、父目录属性文件序号、数据大小和文件名，具体是指：