[发明专利]Hadoop分布式文件系统数据文件的生命周期管理方法和设备

说明书

技术领域

本申请实施例涉及数据存储技术领域，特别涉及一种Hadoop分布式文件系统数据文件的生命周期管理方法和设备。

背景技术

由于Hadoop分布式文件系统（Hadoop Distributed File System，HDFS）有着高容错性的特点，因此常被用来部署在低廉的硬件上。该文件系统可提供高吞吐量的数据访问，适合那些有着超大数据集的应用程序的数据访问。Hadoop分布式文件系统放宽了POSIX（Portable Operating System Interface，可移植操作系统接口）的要求，可以实现以流的形式访问文件系统中的数据。

Hadoop分布式文件系统中的命名节点（namenode）会将Hadoop分布式文件系统文件及目录的元数据存储在下载镜像（fsimage）的二进制文件中， 通过解析Hadoop分布式文件系统的元数据，可以得到文件系统上所有文件及目录的元数据。

目前业务数据及各种日志的存储都遵循一定格式，即99%以上数据量带有时间分区的概念，通过对路径时间分区的归一化，可以对一批具有不同业务时间但为同一业务数据的路径进行统一管理，并可以取出归一化路径对应的业务时间列表及对应的文件大小数据。

目前现存的文件系统的生命周期管理方案为，定义文件的服务等级，根据定义的文件的服务等级进行转储的操作。

在实现本申请实施例的过程中，本申请的发明人发现，现有技术至少存在以下问题：

目前文件系统的生命周期管理技术主要是集中不同类型、级别的数据进行分级存储，对于大规模数据来说，标识数据的服务级别是一个难题，而且这种管理的方式并不能标识出数据本身的特性，在不同的应用场景下，需要对数据本身的不同特性进行辨识，比如，在需要保证数据完整性的应用场景中，需要标识数据是否是连续的，在存在数据缓存的场景下，需要标识数据是否是临时数据，而在需要优化数据存储空间的场景下，需要标识数据是否可以根据数据量大小做其他压缩处理等，因此，现有的技术方案不能很好地体现数据自身的特性，无法针对性的优化数据的生命周期管理，导致数据处理效率低下。

发明内容

本申请实施例提供一种Hadoop分布式文件系统数据文件的生命周期管理方法和设备，以解决现有技术方案中不能很好地根据数据自身的特性进行数据的生命周期管理，导致数据处理效率低下的问题。

本申请实施例提供一种Hadoop分布式文件系统数据文件的生命周期管理方法，包括以下步骤：

通过解析当前所存储的元数据，确定其中所包含的叶子目录，以及归属于叶子目录的文件；

将所述归属于叶子目录的文件的文件大小信息合并至相应的叶子目录上；

根据各叶子目录的业务时间，对各所述叶子目录进行归一化处理，得到归一化目录；

根据各归一化目录中所包含的业务时间数据和文件大小数据，确定各所述归一化目录所属的类型，其中，所述业务时间数据和文件大小数据具体为根据所述归一化目录中的各叶子目录上所包含的业务时间和文件大小信息得到的；

根据预设的生命周期管理策略，对各类型的归一化目录进行相应的数据处理。

另一方面，本申请实施例还提出了一种Hadoop分布式文件系统管理设备，包括：

解析模块，用于通过解析当前Hadoop分布式文件系统中所存储的元数据，确定其中所包含的叶子目录，以及归属于叶子目录的文件；

合并模块，用于将所述解析模块所确定的归属于叶子目录的文件的文件大小信息合并至相应的叶子目录上；

归一化模块，用于根据各叶子目录的业务时间，对各所述叶子目录进行归一化处理，得到归一化目录；

分析模块，用于根据所述归一化模块所得到的各归一化目录中所包含的业务时间数据和文件大小数据，确定各所述归一化目录所属的类型，其中，所述业务时间数据和文件大小数据具体为根据所述归一化目录中的各叶子目录上所包含的业务时间和文件大小信息得到的；

处理模块，用于根据预设的生命周期管理策略，对所述分析模块所确定的各类型的归一化目录进行相应的数据处理。

与现有技术相比，本申请实施例所提出的技术方案具有以下优点：