[发明专利]一种实现节点监控的方法及系统

说明书

技术领域

本发明涉及大数据处理技术，尤指一种适用于分布式系统基础架构（hadoop）大数据平台的实现节点监控方法及系统。

背景技术

伴随着数字生活的不断发展，数据的体积以不可思议的速度激增，由此产生的大数据也变得越来越难以处理。大数据是采用基于云计算的数据处理和应用模式，通过对数据的整合共享、交叉复用形成的智力资源和知识服务的能力。而大数据平台是大数据技术应用的基础支撑。

当前最流行的hadoop大数据平台是由Apache基金会开发的一个分布式系统基础架构平台。hadoop大数据平台具有在用户不了解分布式底层细节的情况下，就可以进行分布式程序开发，充分的利用了集群的威力进行高速运算和存储的特点。一个hadoop集群的节点规模往往包括几十，上百甚至上千台数据节点，由于规模庞大，使得快速准确的监控管理集群中数据节点变得异常困难。

目前，hadoop大数据平台通过集群提供的shell指令行或浏览器来查看集群的节点状态。如果要对集群中的某一节点进行控制操作，则需要单独地登陆该节点，通过shell指令对该节点进行控制操作。当集群中的节点出现异常宕机时，需要通过人工手动恢复该节点宕机前的服务，再把该节点加入集群，才能恢复集群正常工作。采用人工恢复的方法存在操作繁琐，耗费大量人力的同时还容易引入新的错误，使得在大规模的集群环境中对集群节点进行监控和回复操作十分不便。

发明内容

为了解决上述技术问题，本发明公开了一种实现节点监控的方法及系统，能够对数据节点的状态信息进行有效监控，在出现异常宕机时，能够及时有效的对宕机的数据节点进行恢复控制。

本发明提供一种实现节点监控的方法，包括：

一个主服务器和在各数据节点上运行的相应独立的代理服务器；其中，

主服务器与名称节点相连，用于从名称节点获取集群配置信息；基于心跳协议，下发状态指令和控制指令信息给代理服务器；接收代理服务器上传的节点状态信息，以更新集群配置信息；

代理服务器，用于接收主服务器的状态指令及控制指令信息，根据状态指令获取数据节点状态信息，上传给主服务器；根据控制指令对数据节点的各个组件进行工作状态控制，并将控制指令结果反馈给主服务器。

进一步地，主服务器还用于，当数据节点异常宕机时，根据集群配置信息发送宕机节点恢复配置的控制指令给代理服务器；

代理服务器还用于，根据控制指令控制数据节点按照集群配置信息恢复数据节点各个组件的工作状态，并将控制指令结果反馈给主服务器。

进一步地，主服务器还用于，根据代理服务器获取的数据节点状态信息，确定数据节点是否出现异常宕机。

进一步地，主服务器具体用于，通过消息队列方式下发状态指令和控制指令信息。

进一步地，代理服务器具体用于，采用消息队列方式上传数据节点状态信息及反馈控制指令结果信息。

另一方面，本申请还提供一种实现节点监控的方法，

设置一主服务器在名称节点上，在各个数据节点上分别设置相应的独立的代理服务器；

主服务器从名称节点获取集群配置信息，基于心跳协议，下发状态指令和控制指令信息到代理服务器；

代理服务器根据状态指令信息获取数据节点状态信息，根据控制指令信息对控制节点的各个组件进行工作状态控制；

将数据节点状态信息及控制指令结果信息发送到主服务节点，进行集群配置信息更新。

进一步地，该方法还包括：

当数据节点异常宕机时，所述主服务器根据集群配置信息发送宕机节点恢复配置的控制指令信息给代理服务器；

代理服务器根据控制指令控制数据节点按照集群配置信息恢复数据节点各个组件的工作状态。

进一步地，主服务器根据代理服务器获取的数据节点状态信息，确定数据节点是否出现异常宕机。

进一步地，主服务器通过消息队列方式、下发状态指令和控制指令信息。

进一步地，代理服务器采用消息队列方式、上传数据节点状态信息及反馈控制指令结果信息。