[发明专利]基于分布式文件系统的文件处理方法及装置

权利要求书

1.一种基于分布式文件系统的文件处理方法，包括：

从所述分布式文件系统中的多个文件目录中，选择多个候选文件目录；

确定每个候选文件目录所包括的多个业务文件之间的不均匀率，所述不均匀率表征所述多个业务文件的文件大小之间的离散程度；

根据与所述多个候选文件目录对应的不均匀率，对所述多个候选文件目录中的至少一个候选文件目录进行均匀化处理，使得所述至少一个候选文件目录所包括的多个业务文件均匀存储到所述分布式文件系统的各个数据块中。

2.根据权利要求1所述的基于分布式文件系统的文件处理方法，其中，确定每个候选文件目录所包括的多个业务文件之间的不均匀率包括：

计算所述每个候选文件目录所包括的多个业务文件的文件大小的相对平均偏差，作为与所述每个候选文件目录对应的不均匀率。

3.根据权利要求2所述的基于分布式文件系统的文件处理方法，其中，计算所述每个候选文件目录所包括的多个业务文件的文件大小的相对平均偏差包括：

计算所述多个业务文件的文件大小的平均值，作为总平均值；

确定所述多个业务文件中、文件大小小于所述总平均值的业务文件为第一业务文件；

确定所述多个业务文件中、文件大小大于或等于所述总平均值的业务文件为第二业务文件；

分别确定所述第一业务文件的数量和所述第二业务文件的数量；

计算所述第一业务文件的文件大小的平均值和所述第二业务文件的文件大小的平均值，分别作为第一均值和第二均值；

根据所述总平均值、所述第一均值、所述第二均值、所述第一业务文件的数量和所述第二业务文件的数量，计算所述相对平均偏差。

4.根据权利要求1所述的基于分布式文件系统的文件处理方法，其中，根据与所述多个候选文件目录对应的不均匀率，对所述多个候选文件目录中的至少一个候选文件目录进行均匀化处理包括：

对与所述多个候选文件目录对应的不均匀率进行排序；

对不均匀率最大的前M个候选文件目录中的每个候选文件目录进行均匀化处理，M为正整数。

5.根据权利要求1所述的基于分布式文件系统的文件处理方法，其中，根据与所述多个候选文件目录对应的不均匀率，对所述多个候选文件目录中的至少一个候选文件目录进行均匀化处理包括：

对不均匀率大于不均匀率阈值的每个候选文件目录进行均匀化处理。

6.根据权利要求1所述的基于分布式文件系统的文件处理方法，其中，选择多个候选文件目录包括：

从所述分布式文件系统所服务的多个业务单元中，选择一个或多个候选业务单元；

确定每个候选业务单元所产生的业务文件的数量与用于存储所述每个候选业务单元所产生的业务文件的数据块的数量的和，作为第一值；

从所述一个或多个候选业务单元中，选择第一值最大的前N个业务单元，作为目标业务单元，N为正整数；

对于每个目标业务单元，选择与所述每个目标业务单元对应的多个文件目录，作为所述多个候选文件目录。

7.根据权利要求6所述的基于分布式文件系统的文件处理方法，其中，所述分布式文件系统包括多个管理节点，选择一个或多个候选业务单元包括：

确定每个管理节点所维护的业务文件的数量与用于存储所述每个管理节点所维护的业务文件的数据块的块数的和，作为第二值；

确定每个管理节点可维护的业务文件的最大数量与用于存储所述最大数量的业务文件的数据块的块数的和，作为第三值；

选择第二值与第三值的比值大于比值阈值的一个或多个管理节点，作为一个或多个目标管理节点；

选择与所述一个或多个目标管理节点对应的一个或多个业务单元，作为所述一个或多个候选业务单元。