[发明专利]一种扁平化的高可用namenode模型的实现方法

说明书

本发明公开了一种扁平化的高可用namenode模型的实现方法，该方法解决了分布式文件系统HDFS潜在单点故障问题，实现了负载均衡。该方法包括一种扁平化的三机namenode模型，该模型中包括领导者节点、候选者节点和跟随者节点三种角色的namenode节点协调工作。一个节点可能充当不止一种角色。相较于当前主/备模式的架构，本发明大大缩短了在主节点宕机后，集群重新选主并恢复服务功能的速度，提升了HDFS文件系统响应客户端读请求时的性能。该模型不仅有效地解决了集群的单点故障问题，还实现了namenode服务器处理客户端读请求时各节点的负载均衡，提升了系统整体性能。

技术领域

本发明涉及一种扁平化的高可用namenode模型的实现方法，属于分布式应用技术领域。

背景技术

namenode也称为元数据节点，它的主要功能是管理分布式文件系统中的元数据信息。HDFS中文件的元数据信息包括命名空间、文件到数据块的映射、数据块到数据节点的映射三部分。namenode是否能保持长时间的正常工作，关系到整个分布式文件系统的可用性。

行业中针对namenode潜在的单点故障问题而采取的解决方案大致有3类，分别是secondary Namenode机制、Backup Node机制和Avatar机制。

secondary namenode机制是在运行namenode进程的服务器上，又运行了一个secondary namenode进程。secondary namenode会定期从namenode上下载元数据镜像文件和操作日志，并将其合并为一份准完整的元数据副本，随后回传给namenode并覆盖原来的镜像文件，这一过程称为checkpoint。但checkpoint过程得到的元数据的镜像也只是准完整的，而且随着checkpoint时间变长，数据丢失的风险也会加大。

backup node机制是令namenode实时地将日志传送给backup node，即当namenode有日志时，不仅会写一份到本地日志文件中，同时还会向backup node中写一份。相较于secondary namenode每隔一段时间从namenode上下载镜像文件和操作日志，backup node可以实时地将得到操作日志合并到镜像文件中。该方案的优点在于实现了低延迟的日志复制，命名空间元数据可以实时同步更新。其缺点是块位置的映射信息未在内存同步，主备节点切换后，需要等待datanode上传自己所含的块信息，造成切换时间较长。

avatar机制由社交媒体网站FaceBook提出。avatar机制包含两个namenode节点，一个为primary namenode，另一个为standby namenode，primary namenode接替原生的namenode角色，负责响应客户端的请求并在内存中维护一份元数据信息。而standbynamenode是一个一直处于safemode(安全模式)的节点，它只维护元数据信息，不接受客户端的请求。在primary namenode宕机时，standby namenode切换为primary namenode的耗时非常短。但缺点是standby namenode在primary namenode正常工作情况下，负责的工作仅仅是同步元数据信息，并不对客户端提供任何服务。

HDFS作为Hadoop的分布式文件系统，由于设计的原因在架构上只设置了一个namenode节点，而这一个namenode节点既要处理来自客户端的所有读、写请求，又要承担集群中元数据的维护管理任务。这种单一主节点配若干从节点的典型分布式应用架构模型所潜藏的单点故障问题是HDFS高可用性的一大隐患。

发明内容

本发明目的在于针对上述现有技术的不足，提出了一种扁平化的高可用namenode模型的实现方法，该方法解决了分布式文件系统HDFS潜在单点故障问题，实现了负载均衡。