[发明专利]数据节点处理方法、系统和名称节点

说明书

本公开提供了一种数据节点处理方法、系统和名称节点，涉及大数据处理领域。该方法包括：增设功能节点数据集合，其中，功能节点数据集合包括支持预定功能的数据节点信息；向功能节点数据集合中的数据节点发送与预定功能相关的任务指令。本公开使得名称节点每次下发任务都能够将任务下发到符合要求的数据节点中。

技术领域

本公开涉及大数据处理领域，尤其涉及一种数据节点处理方法、系统和名称节点。

背景技术

随着HADOOP成为大数据处理的一个基础组件之后，各大公司都使用HADOOP做大数据平台的底层。但是随着集群规模的增长与业务量的激增，HDFS(Hadoop DistributedFile System，Hadoop分布式文件系统)整体存储成本增加的非常快。以常用的三副本存储策略为例，实际占用存储空间是实际数据容量的3倍，直接增加了存储的硬件成本。

为了解决以上问题，HADOOP 3.0基线引入了EC(Erasure Coding，纠删码)存储策略，来优化HDFS存储成本问题。以常用的EC RS-6-3-1024k存储策略为例，理想情况下，例如，小文件占比小，实际占用存储空间是实际数据容量的1.5倍，可以直接比三副本存储节省一半的存储硬件成本。

发明内容

但EC存储策略不支持前向兼容，使用前需要把所有DataNode(数据节点)和NameNode(名称节点)升级到3.0以上的版本。否则，由于名称节点在下发任务时，并不会考虑数据节点的版本号，有可能会将任务发送给3.0以前版本的数据节点，导致发送到该数据节点的任务无法正常完成。

本公开要解决的一个技术问题是，提供一种数据节点处理方法、系统和名称节点，能够使得名称节点每次都能够将任务下发到符合要求的数据节点中。

根据本公开一方面，提出一种数据节点处理方法，包括：增设功能节点数据集合，其中，功能节点数据集合包括支持预定功能的数据节点信息；向功能节点数据集合中的数据节点发送与预定功能相关的任务指令。

在一个实施例中，预定功能包括纠删码数据恢复功能，其中，发送与预定功能相关的任务指令包括：发送纠删码数据恢复任务指令。

在一个实施例中，增设功能节点数据集合包括：根据数据节点在注册时携带的标识信息，判断数据节点是否为支持纠删码数据恢复功能的数据节点；若数据节点为支持纠删码数据恢复功能的数据节点，则将数据节点添加到功能节点数据集合。

在一个实施例中，标识信息包括版本号，其中，判断数据节点是否为支持纠删码数据恢复功能的数据节点包括：若数据节点的版本号满足预设版本号，则确定数据节点为支持纠删码数据恢复功能的数据节点。

在一个实施例中，在下发纠删码数据恢复任务指令时，将任务指令发送至属于功能节点数据集合中的至少一个数据节点。

在一个实施例中，功能节点数据集合为功能节点树。

根据本公开的另一方面，还提出一种名称节点，包括：集合设置单元，被配置为增设功能节点数据集合，其中，功能节点数据集合包括支持预定功能的数据节点信息；任务下发单元，被配置为向功能节点数据集合中的数据节点发送与预定功能相关的任务指令。

在一个实施例中，预定功能包括纠删码数据恢复功能；任务下发单元被配置为向功能节点数据集合中的数据节点发送纠删码数据恢复任务指令。

根据本公开的另一方面，还提出一种名称节点，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行如上述的方法。

根据本公开的另一方面，还提出一种数据节点处理系统，包括：数据节点，被配置为执行预定任务；以及上述的名称节点。

根据本公开的另一方面，还提出一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述的方法的步骤。