[发明专利]数据转换方法、系统和名称节点

说明书

本公开提供了一种数据转换方法、系统和名称节点，涉及数据处理领域。该方法包括：名称节点获取副本文件；将副本文件转换为待转换文件任务；以及将待转换文件任务发送至数据节点，以便数据节点基于待转换文件任务将副本文件转换为纠删码文件。本公开无需依赖其他系统即可独立完成数据转换，提高了数据转换效率。

技术领域

本公开涉及数据处理领域，尤其涉及一种数据转换方法、系统和名称节点。

背景技术

HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)一般采用副本文件存储方式，该存储方式利用三副本特性保证数据的完整性，但三副本存储策略占用了过多的存储空间。因此引入了HDFS EC(Erasure Coding，纠删码)技术来降低存储空间，同时保证数据的完整性。

相关技术中，一般使用Hadoop中的MapReduce技术，将冷数据通过数据拷贝的方式从副本转为EC存储。相关数据拷贝方案需要再搭建YARN集群来支持MapReduce应用程序的运行，还需要引入定时调度系统来保证数据及时转换。

发明内容

本公开要解决的一个技术问题是，提供一种数据转换方法、系统和名称节点，能够无需依赖其他系统即可独立完成数据转换，提高了数据转换效率。

根据本公开一方面，提出一种数据转换方法，包括：名称节点获取副本文件；将副本文件转换为待转换文件任务；以及将待转换文件任务发送至数据节点，以便数据节点基于待转换文件任务将副本文件转换为纠删码文件。

在一个实施例中，名称节点响应于数据节点转换文件成功，获取副本文件的属性信息；根据副本文件的属性信息设置纠删码文件的属性信息。

在一个实施例中，名称节点响应于数据节点转换文件成功，判断副本文件的当前属性信息与发送待转换文件任务时对应的属性信息是否一致，若不一致，则将副本文件重新转换为待转换文件任务。

在一个实施例中，名称节点响应于数据节点转换文件成功，将副本文件加写锁后移动到临时目录，将纠删码文件移动到原始副本文件目录，并在转换历史中进行日志记录；若在移动过程中发生异常情况，则将副本文件移回到原始副本文件目录。

在一个实施例中，名称节点若检测到数据节点超过预定时间没有返回响应信息，或者确定数据节点执行转换任务失败次数超过阈值，则将数据节点标记为异常数据节点。

在一个实施例中，获取副本文件包括：周期性扫描预定目录下的文件获取副本文件，和/或，调用消费类实时获取新增副本文件。

在一个实施例中，还包括以下至少一个对副本文件进行过滤的步骤：名称节点将副本文件与已转换文件进行对比，滤除副本文件中已完成转换的文件；名称节点滤除副本文件中不符合路径条件的文件；名称节点滤除副本文件中不符合文件属性条件的文件；名称节点使用文件扩展属性对副本文件进行已处理标记。

在一个实施例中，名称节点将满足条件的副本文件加入到待转换文件队列中；轮询待转换文件队列确定待转换副本文件；根据转换选择目标策略选择数据节点；基于文件转换命令将待转换副本文件封装为待转换文件任务；将待转换文件任务发送到数据节点对应的数据节点描述器中的文件转换任务队列中，以便数据节点根据待转换文件任务将副本文件转换为纠删码文件。

在一个实施例中，名称节点在异常退出并重启后，读取转换历史中的日志记录，并将日志记录与预定目录进行比对去重，将去重后的副本文件转换为待转换文件任务。

根据本公开的另一方面，还提出一种名称节点，包括：文件获取单元，被配置为获取副本文件；任务转换单元，被配置为将副本文件转换为待转换文件任务；以及任务派发单元，被配置为将待转换文件任务发送至数据节点，以便数据节点将副本文件转换为纠删码文件。