[发明专利]面向电镜数据存储系统的文件元数据获取方法与系统

权利要求书

1.一种面向电镜数据存储系统的文件元数据获取方法，其特征在于，

步骤A-1：扫描文件系统所存储的数据文件目录，生成第一目录集合；

步骤A-2：将所述第一目录集合中的目录平均分配生成第一目录分组集合，所述第一目录分组集合包括M个目录分组；

步骤A-3：启动M个进程用于扫描所述M个目录分组中每个目录下的数据文件路径信息，一个进程对应一个目录分组；所有进程结束后，汇总所述M个进程的扫描结果，得到所述第一目录集合对应的第一全路径集合；

步骤A-4：将所述第一全路径集合中的路径平均分配生成第一路径分组集合，所述第一路径分组集合包括N个路径分组；

步骤A-5：启动N个进程用于获取所述N个路径分组中每个数据文件的元数据，一个进程对应一个路径分组；所有进程结束后，汇总所述N个进程的扫描结果，得到所述第一全路径集合对应的第一元数据集合。

2.根据权利要求1所述的方法，其特征在于，所述元数据至少包含数据文件的最近修改时间信息、最近访问时间信息、最近更改时间信息、数据文件全路径信息、数据文件所属用户、数据文件所属用户组、和/或数据文件大小。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

步骤A-6：对所述第一元数据集合中的元数据信息进行统计分析，得到每个用户占用的存储空间或存储空间占比、每个用户组占用的存储空间或存储空间占比、总存储空间的使用占比、和/或每个文件夹占用的存储空间或存储空间占比。

4.根据权利要求1所述的方法，其特征在于，所述M、N取值与文件系统剩余IOPS和进程平均IOPS相关。

5.根据权利要求1所述的方法，其特征在于，所述步骤A-1中，所述扫描文件系统所存储的数据文件目录，包括：扫描文件系统中指定目录深度的数据文件目录；

所述步骤A-3和步骤A-4之间还包括：

步骤B-4：启动单进程扫描文件系统中所有指定目录深度之外的数据文件路径信息，生成第二全路径集合；

步骤B-5：将所述第二全路径集合并入所述第一全路径集合。

6.一种面向电镜数据存储系统的文件元数据获取系统，其特征在于，

目录扫描模块：扫描文件系统所存储的数据文件目录，生成第一目录集合；

目录分组模块：将所述第一目录集合中的目录平均分配生成第一目录分组集合，所述第一目录分组集合包括M个目录分组；

路径扫描模块：启动M个进程用于扫描所述M个目录分组中每个目录下的数据文件路径信息，一个进程对应一个目录分组；所有进程结束后，汇总所述M个进程的扫描结果，得到所述第一目录集合对应的第一全路径集合；

路径分组模块：将所述第一全路径集合中的路径平均分配生成第一路径分组集合，所述第一路径分组集合包括N个路径分组；

元数据扫描模块：启动N个进程用于获取所述N个路径分组中每个数据文件的元数据，一个进程对应一个路径分组；所有进程结束后，汇总所述N个进程的扫描结果，得到所述第一全路径集合对应的第一元数据集合。

7.根据权利要求6所述的系统，其特征在于，所述元数据至少包含数据文件的最近修改时间信息、最近访问时间信息、最近更改时间信息、数据文件全路径信息、数据文件所属用户、数据文件所属用户组、和/或数据文件大小。

8.根据权利要求7所述的系统，其特征在于，所述系统还包括：

统计分析模块：对所述第一元数据集合中的元数据进行统计分析，得到每个用户占用的存储空间或存储空间占比、每个用户组占用的存储空间或存储空间占比、总存储空间的使用占比、和/或每个文件夹占用的存储空间或存储空间占比。

9.根据权利要求6所述的系统，其特征在于，所述M、N取值与文件系统剩余IOPS和进程平均IOPS相关。

10.根据权利要求6所述的系统，其特征在于，所述目录扫描模块中，所述扫描文件系统所存储的数据文件目录，包括：扫描文件系统中指定目录深度的数据文件目录；

所述路径扫描模块和路径分组模块之间还包括：

次要路径扫描模块：启动单进程扫描文件系统中所有指定目录深度之外的数据文件路径信息，生成第二全路径集合；

路径汇总模块：将所述第二全路径集合并入所述第一全路径集合。