[发明专利]一种评估服务器性能的方法、系统、存储介质及设备

说明书

本发明提供了一种评估服务器性能的方法、系统、存储介质及设备，方法包括：收集所有待测服务器的硬件信息，并基于硬件信息分别判定每个待测服务器是否处于健康状态；响应于多个待测服务器处于健康状态，基于硬件信息将多个待测服务器根据配置等级进行分组，以得到若干服务器组；对每个服务器组进行内存性能评估测试，并基于测试结果确认每个服务器组中的待测服务器是否分别满足预设要求；基于可重入读写锁对满足预设要求的待测服务器进行并行处理能力评估。本发明可模拟NameNode实际运行业务场景，评估Hadoop‑NameNode服务器的性能是否满足实际业务需求，实现了快速地、智能地、批量地评估NameNode服务器的处理能力，无需批量部署Hadoop集群。

技术领域

本发明涉及服务器技术领域，尤其涉及一种评估服务器性能的方法、系统、存储介质及设备。

背景技术

随着大数据市场的不断增长，数据表明目前已有250亿字节数据，并且每天以463EB的数据在增长，如何应对现有的海量数据成为现在最重要的课题之一。应运而生的技术如大数据与区块链技术的结合，这种结合使得网络架构将难以被篡改从而确保数据的安全性，数据结构更易于分析和理解。

大数据技术是指从各种类型的大体量数据中快速获得有价值信息的技术。这是大数据的核心问题。目前所说的大数据不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。大数据研发的目的是发展大数据技术并将其应用到相关领域，通过解决大体量数据处理问题促进其突破性发展。因此，大数据时代带来的挑战不仅体现在如何处理大体量数据并从中获取有价值的信息，也体现在如何加强大数据技术研发。大数据所涉及的关键技术大致包括6个方面：数据采集与数据管理、分布式存储和并行计算、大数据应用开发、数据分析与挖掘、大数据前端应用、数据服务和展现。

大数据技术正在向各行各业渗透。Hadoop作为数据分布式处理系统的典型代表，已经成为该领域事实的标准。Hadoop是一个使用java编写的Apache(一个Web服务器软件)开放源代码框架，它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。Hadoop框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境中工作。Hadoop旨在从单一服务器扩展到数千台机器，每台机器都提供本地计算和存储。Hadoop架构核心包括：分布式文件系统HDFS(Hadoop Distributed File System)、分布式计算系统MapReduce及分布式资源管理系统YARN。其中，HDFS是以分布式进行存储的文件系统，主要负责集群数据的存储和读取，是一个Master/Slave(主/从)体系结构的分布式文件系统，主要包括NameNode和DataNode。NameNode是集群的管理者，管理整个文件系统的命名空间，用于存储元数据及处理客户端发送的请求，维护整个集群的状态，为了提高响应速度其大部分数据都常驻内存，则NameNode内存的使用尤为重要。

众所周知，NameNode全局锁(FSNamesystemLock)问题一直是制约HDFS性能，尤其是NameNode处理能力的主要原因，一旦NameNode出现性能问题，整个Hadoop集群的性能将大大降低。目前NameNode性能评测工具主要有混合负载生成器(SLG)、nnbench，SLG通过调整工作线程数量和操作之间的延迟参数来控制负载强度，nnbench则会生成很多与HDFS相关的请求，在HDFS上创建、读取、重命名和删除文件操作。上述两种工具均需部署Hadoop，操作复杂、易出错、耗时长、需要相关技术人员进行操作。上述问题导致批量评估Hadoop-NameNode服务器的性能变得更加困难。

发明内容

有鉴于此，本发明的目的在于提出一种评估服务器性能的方法、系统、存储介质及设备，用以解决批量评估Hadoop-NameNode服务器的性能存在很大困难的问题。

基于上述目的，本发明提供了一种评估服务器性能的方法，包括以下步骤：

收集所有待测服务器的硬件信息，并基于硬件信息分别判定每个待测服务器是否处于健康状态；