[发明专利]一种检测慢节点的方法、装置及计算机可读存储介质

说明书

本公开是关于一种检测慢节点的方法、检测慢节点的装置及计算机可读存储介质。在该检测慢节点方法中，针对第一存储节点，获取已生成记录，已生成记录中包括：存储节点生成时刻、向除第一存储节点外的其他第二存储节点传输数据的次数及耗时；从已生成记录中获取有效记录，有效记录包括预设时间段内的记录，预设时间段位于生成时刻与当前时刻之间的时间段内；基于有效记录包括的次数及耗时，确定第一存储节点向每个第二存储节点传输数据的平均耗时；基于平均耗时，在第二存储节点中检测慢节点。通过本公开的检测慢节点方法，提高了检测慢节点的准确率。

技术领域

本公开涉及分布式存储系统技术领域，尤其涉及检测慢节点方法、装置及计算机可读存储介质。

背景技术

分布式系统基本框架(Hadoop)具有存储和分析海量数据的功能，多个Hadoop组成Hadoop集群。在Hadoop集群中包括存放文件元数据信息的服务器(NameNode)及实际存放数据的服务器(DataNode)。由于Hadoop集群处于不间断工作状态，因此经常出现Hadoop集群中网络传输数据变慢或磁盘读写数据变慢的DataNode，而每一DataNode对应一个数据存储节点，因此称Hadoop集群中网络传输数据变慢或磁盘读写数据变慢的DataNode对应的数据存储节点为慢节点。在Hadoop集群中，慢节点不易被发现，且会降低分布式系统基本框架的读写大数据的性能，因此检测Hadoop集群中的慢节点是十分必要的。但是目前检测Hadoop集群中数据存储节点检测慢节点的准确率相对较低。

发明内容

为克服相关技术中存在的问题，本公开提供一种检测慢节点的方法、检测慢节点的装置、一种电子设备及一种非临时性计算机可读存储介质。

根据本公开实施例的第一方面，提供一种检测慢节点方法，包括：针对第一存储节点，获取已生成记录，已生成记录中包括：存储节点生成时刻、向除第一存储节点外的其他第二存储节点传输数据的次数及耗时；从已生成记录中获取有效记录，有效记录包括预设时间段内的记录，预设时间段位于生成时刻与当前时刻之间的时间段内；基于有效记录包括的次数及耗时，确定第一存储节点向每个第二存储节点传输数据的平均耗时；基于所述平均耗时，在第二存储节点中检测慢节点。

一种实施方式中，第一方面所述检测慢节点方法，还包括：响应于检测到慢节点，获取慢节点报告，慢节点报告包括：慢节点的节点地址、向每个第二存储节点传输数据的耗时及慢节点报告的生成时间；在管理页面显示慢节点报告。

另一种实施方式中，第一方面所述检测慢节点方法，还包括：在到达预定时刻时，基于节点地址在已存在的慢节点中检测新增慢节点；响应于检测到新增慢节点，向管理地址对应的管理终端发送报警信息，管理地址包括以下至少一项：邮箱地址、指定终端地址。

又一种实施方式中，第一方面所述检测慢节点方法，还包括：基于慢节点报告生成慢节点列表，慢节点列表中包括慢节点的节点地址和慢节点的过期时间；在到达预定时刻时，根据过期时间和生成时间确定已过期慢节点；从慢节点列表中移除已过期慢节点。

又一种实施方式中，第一方面所述检测慢节点方法，还包括：若第二存储节点为慢节点，则为第一存储节点重新分配第二存储节点；若第二存储节点为非慢节点，则通过第一存储节点向被分配的第二存储节点写数据。

根据本公开实施例的第二方面，提供一种检测慢节点的装置，包括：获取单元，被配置为针对第一存储节点，获取已生成记录，已生成记录中包括：存储节点生成时刻、向除第一存储节点外的其他第二存储节点传输数据的次数及耗时；查找单元，被配置为从已生成记录中获取有效记录，有效记录包括预设时间段内的记录，预设时间段位于生成时刻与当前时刻之间的时间段内；确定单元，被配置为基于有效记录包括的次数及耗时，确定第一存储节点向每个第二存储节点传输数据的平均耗时；检测单元，被配置为基于平均耗时，在第二存储节点中检测慢节点。