[发明专利]数据处理方法及装置

说明书

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法及装置。

背景技术

分布式系统基础架构(Hadoop)是大数据时代最为核心的解决方案之一，其主要包括Hadoop分布式文件系统(HDFS，Hadoop Distribute File System)、计算框架(MapReduce)、数据库(HBase)、数据仓库(Hive)以及其他组件，其中，HDFS是Hadoop的最为基础的分布式计算存储平台。但是，HDFS至少存在如下两方面问题：

1)存储元数据(metadata)的名称节点(NameNode)存在单点故障问题：针对该问题目前已经公开的解决NameNode高可靠性(HA)问题的技术列举如下：现有技术1公开了一种分布式系统的NameNode切换方法和系统，通过主从NameNode节点切换实现HDFS系统的高可靠性；现有技术2公开了一种解决Hadoop分布式文件系统NameNode单点故障的HA方法，采用两台服务器实现双机热备，将元数据保存在共享存储中，该方法也是解决NameNode节点HA问题；现有技术3公开了一种云存储数据同步框架及其实现方法，提出云存储数据同步框架(Quorum)，以解决NameNode节点单点故障时的服务中断问题；上述技术方案可以有效解决NameNode节点的高可靠性问题。

2)HDFS存在的无法有效处理海量小文件的问题：参见图1，因为HFDS在NameNode节点中存储元数据，而因为NameNode节点把文件系统的元数据放置在服务器内存中，所以文件系统所能容纳的文件数目是由NameNode的内存大小来决定；然而，NameNode的内存大小是有限的，使得HDFS系统无法高效存储大量的小文件。对此，现有技术4公开了一种海量小文件存储及管理 方法和系统，方法包括：存储海量小文件，并将元数据写入NameNode服务网络；NameNode服务网络管理元数据，实现对客户端访问请求的响应；具体地，将多个NameNode节点组成对等网络，每个NameNode节点在对等网络的地位是相同的，它们协同解决小文件的存储和管理问题，通过改进NameNode实现机制而提升HDFS处理海量小文件的能力，采用对等计算技术，避免单点失效问题，提供基于关键字的路由查找方法，有效均衡网络负载，提高查询效率。

然而，现有技术4中NameNode对等网络(Peer-to-Peer)实现起来非常复杂，而且会损失输入/输出(I/O)处理性能，进而会影响HDFS系统的吞吐量，而HDFS系统的核心的目的之一正是实现高吞吐量；如此，现有技术会增加实现复杂性，降低系统吞吐量。

发明内容

有鉴于此，本发明实施例期望提供一种数据处理方法及装置，能降低实现复杂性，提高系统吞吐量。

为达到上述目的，本发明的技术方案是这样实现的：

本发明实施例提供一种数据处理方法，方法包括：

第一名称节点根据所述客户端发送的访问请求，从至少一个第二名称节点中确定与所述访问请求对应的目标名称节点；

所述第一名称节点向所述目标名称节点发送所述访问请求；

所述目标名称节点根据所述访问请求进行响应处理，并将处理结果反馈给所述第一名称节点；

所述第一名称节点根据所述处理结果向所述客户端发送访问响应。

在上述实施例的基础上，所述方法还包括：

所述第一名称节点检测各所述至少一个第二名称节点的内存使用信息；

检测到所述至少一个第二名称节点中的第三名称节点的内存使用信息满足第一预设条件时，从所述至少一个第二名称节点中查找到目前状态为不正在使用的第四名称节点；

确定所述第四名称节点的内存使用信息满足第二预设条件时，将所述第三名称节点存储的部分元数据迁移至所述第四名称节点中，以使所述第三名称节点的内存使用信息满足第三预设条件。

在上述实施例的基础上，所述第一名称节点检测各所述至少一个第二名称节点的内存使用信息，包括：

所述第一名称节点查询节点管理表，获取各所述至少一个第二名称节点的内存使用信息；其中，所述节点管理表，用于记录各所述至少一个第二名称节点的目前状态及内存使用信息。

在上述实施例的基础上，第一名称节点根据所述客户端发送的访问请求，从至少一个第二名称节点中确定与所述访问请求对应的目标名称节点，包括：