[发明专利]一种分布式存储集群各节点的健康自检方法及系统

说明书

本发明公开了一种分布式存储集群各节点的健康自检方法及系统，应用于集群中的主管理节点。本申请通过进程池的方式控制并发执行健康自检的进程的个数上限，同时复用回收的进程继续执行剩余节点的健康自检任务，避免了进程频繁创建销毁引起的系统开销。而且，通过设置进程池的并发执行进程上限为主管理节点的CPU核数，最大化获取节点健康自检结果的速度的同时，节省了系统资源的消耗，从而使进程健康自检的资源消耗和执行速度达到了最优平衡，在大规模集群节点下具有良好的操作性和扩展性。

技术领域

本发明涉及分布式存储领域，特别是涉及一种分布式存储集群各节点的健康自检方法及系统。

背景技术

目前，分布式存储集群中各节点的健康自检采用并发多进程的方式实现，具体是根据集群中节点的个数一一启动相应的进程去获取集群中各节点的健康状态，也就是说，集群中有多少个节点，就会同时启动多少个进程。但是，当集群中的节点个数达到成百上千甚至更多时，原有并发多进程的方式所启动的进程过多，会造成系统资源的严重占用，并且系统的单个CPU(中央处理器)一次只能处理一个进程任务，多于CPU个数的进程只能排队，按时间分片轮询处理。若并发的进程数大大超过系统的CPU核数时，大量的进程间上下文切换会进一步降低并发任务的执行效率，反而增加了执行的时间，因此原有并发多进程的方式在大规模集群节点下不具有良好的操作性和扩展性。

因此，如何提供一种解决上述技术问题的方案是本领域的技术人员目前需要解决的问题。

发明内容

本发明的目的是提供一种分布式存储集群各节点的健康自检方法及系统，通过进程池的方式控制并发执行健康自检的进程的个数上限，同时复用回收的进程继续执行剩余节点的健康自检任务，避免了进程频繁创建销毁引起的系统开销。而且，通过设置进程池的并发执行进程上限为主管理节点的CPU核数，最大化获取节点健康自检结果的速度的同时，节省了系统资源的消耗，从而使进程健康自检的资源消耗和执行速度达到了最优平衡，在大规模集群节点下具有良好的操作性和扩展性。

为解决上述技术问题，本发明提供了一种分布式存储集群各节点的健康自检方法，应用于集群中的主管理节点，包括：

在接收到自检启动命令后，获取集群中所有节点的IP地址；

从预准备的进程池中申请空闲进程，并以并发空闲进程的方式同时基于多个目标节点的IP地址向多个目标节点发送健康自检命令，以使多个目标节点在接收到健康自检命令后进行健康自检；其中，所述进程池中允许并发执行的最大进程个数设置为所述主管理节点的CPU核数；

接收多个目标节点返回的健康自检结果，并判断集群中的所有节点是否已全部自检完毕；

若否，则返回执行从预准备的进程池中申请空闲进程的步骤，直至集群中的所有节点已全部自检完毕。

优选地，以并发空闲进程的方式同时基于多个目标节点的IP地址向多个目标节点发送健康自检命令的过程，包括：

以并发空闲进程的方式执行多个节点的IP地址的网络连通性测试，以判断目标节点的网络是否连通；其中，所述目标节点为进行网络连通性测试的任一节点；

若是，则基于所述目标节点的IP地址向所述目标节点发送健康自检命令；

若否，则确定所述目标节点的网络异常。

优选地，当所述目标节点为管理节点时，进行健康自检的过程，包括：

检测所述管理节点的消息中间件RabbitMQ是否停止运行，并在RabbitMQ未停止运行时检测RabbitMQ运行是否正常；

检测所述管理节点的注册中心Zookeeper是否停止运行，并在Zookeeper未停止运行时检测Zookeeper运行是否正常；