[发明专利]Hadoop分布式文件系统数据文件的生命周期管理方法和设备

权利要求书

1.一种Hadoop分布式文件系统数据文件的生命周期管理方法，其特征在于，包括以下步骤：

通过解析当前所存储的元数据，确定其中所包含的叶子目录，以及归属于叶子目录的文件；

将所述归属于叶子目录的文件的文件大小信息合并至相应的叶子目录上；

根据各叶子目录的业务时间，对各所述叶子目录进行归一化处理，得到归一化目录；

根据各归一化目录中所包含的业务时间数据和文件大小数据，确定归一化目录所属的类型，其中，所述业务时间数据和文件大小数据具体为根据所述归一化目录中的各叶子目录上所包含的业务时间和文件大小信息得到的；

根据预设的生命周期管理策略，对各类型的归一化目录进行相应的数据处理。

2.如权利要求1所述的方法，其特征在于，所述通过解析当前所存储的元数据，确定其中所包含的叶子目录，以及归属于叶子目录的文件，具体包括：

对Hadoop分布式文件系统的元数据进行解析，分拣为目录和文件；

在分拣出的目录中，确定其中所包含的叶子目录；

在分拣出的文件中，确定归属于各叶子目录的文件。

3.如权利要求1所述的方法，其特征在于，所述根据各叶子目录的业务时间，对各所述叶子目录进行归一化处理，得到归一化目录，具体包括：

抽取各叶子目录所包含的业务时间；

按照预设的策略，将所抽取的各业务时间划分到一个或多个归一化业务时间区间；

根据处于同一个归一化业务时间区间的各叶子目录，确定一个归一化目录；

其中，各归一化目录中包含归属于相应的归一化目录的各叶子目录所对应的业务时间和文件大小信息。

4.如权利要求3所述的方法，其特征在于，所述根据各叶子目录的业务时间，对各所述叶子目录进行归一化处理，得到归一化目录之后，还包括：

将Hadoop分布式文件系统关联的Hive元数据库中的存储目录进行与各叶子目录相同的归一化处理，将表数据合并至相应的归一化目录。

5.如权利要求3所述的方法，其特征在于，所述根据各叶子目录的业务时间，对各所述叶子目录进行归一化处理，得到归一化目录之后，还包括：

将所产生的数据，由Hadoop分布式文件系统导入到关系型数据库中。

6.如权利要求1所述的方法，其特征在于，所述业务时间数据和文件大小数据具体为根据所述归一化目录中的各叶子目录上所包含的业务时间和文件大小信息得到的，具体包括：

根据一个归一化目录中的各叶子目录上所包含的业务时间，确定所述归一化目录所对应的最大业务时间和最小业务时间；

根据所述归一化目录所对应的最大业务时间和最小业务时间，确定所述归一化目录的业务时间间隔；

根据当前系统业务时间和所述归一化目录所对应的最小业务时间，确定当前系统的系统时间间隔；

根据所述归一化目录中的各叶子目录上所包含的文件大小信息，确定所述归一化目录在预设时间区间内的总数据量和数据增量。

7.如权利要求6所述的方法，其特征在于，所述根据各归一化目录中所包含的业务时间数据和文件大小数据，确定各所述归一化目录所属的类型，至少包括：

根据一个归一化目录的业务时间间隔和所述归一化目录所对应的叶子目录总数，确定所述归一化目录在自身的业务时间间隔内，所缺失的叶子目录数量，并据此判断所述归一化目录所对应的数据是否属于连续性数据；和/或，

根据一个归一化目录的系统时间间隔和业务时间间隔，确定所述归一化目录在当前业务时间下，所缺失的叶子目录数量，并根据所缺失业务目录数量是否达到预设的缺失阈值，判断所述归一化目录所对应的数据是否属于临时数据；和/或，

根据一个归一化目录在预设时间区间内的总数据量和数据增量的大小，判断所述归一化目录所对应的数据是否属于需要进行压缩的数据。