[发明专利]数据处理方法及装置、电子设备和计算机可读存储介质

说明书

本公开提供了一种数据处理方法及装置、电子设备和计算机可读存储介质，本公开的数据处理方法和装置可应用于大数据技术领域。该数据处理方法包括：通过njmon性能监控工具采集业务服务集群中的每台业务服务器的原始性能数据；将原始性能数据发送至多台解析服务器，以便通过多台解析服务器解析原始性能数据，以获得每台业务服务器的第一目标性能数据，其中第一目标性能数据为与目标指标相关的性能数据；将第一目标性能数据发送至中间件服务器，以便通过中间件服务器将第一目标性能数据写入时序数据库；以及根据第一目标性能数据生成每台业务服务器的性能报表，其中性能报表用于表征目标指标在每个预设时刻的性能值。

技术领域

本公开涉及大数据技术领域，更具体地，涉及一种数据处理方法及装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

随着信息化进程的加快，数据中心服务器规模呈现爆发性增长，尤其是在X86开放平台系统中数据量增长较快。

在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题，由于数据中心服务器规模增长带来的数据量的大幅度增长，数据中心性能监控系统出现严重性能瓶颈，系统组件已无法处理较大规模数据。

发明内容

有鉴于此，本公开提供了一种数据处理方法及装置、电子设备、计算机可读存储介质和计算机程序产品。

本公开的一个方面提供了一种数据处理方法，包括：

通过njmon性能监控工具采集业务服务集群中的每台业务服务器的原始性能数据，其中原始性能数据包括与预设指标相关的性能数据；

将原始性能数据发送至多台解析服务器，以便通过多台解析服务器解析原始性能数据，以获得每台业务服务器的第一目标性能数据，其中第一目标性能数据为与目标指标相关的性能数据；

将第一目标性能数据发送至中间件服务器，以便通过中间件服务器将第一目标性能数据写入时序数据库；

根据第一目标性能数据生成每台业务服务器的性能报表，其中性能报表用于表征目标指标在每个预设时刻的性能值。

根据本公开的实施例，其中，目标指标包括以下至少之一：cpu总使用率、各运行进程的cpu使用率、内存使用率、网络传输速度、磁盘读写速度、各文件系统使用率。

根据本公开的实施例，将原始性能数据发送至多台解析服务器包括：将原始性能数据发送至负载均衡服务器，以便通过负载均衡服务器将原始性能数据转发至多台解析服务器。

根据本公开的实施例，上述方法还包括：利用第一目标性能数据计算第一健康度，其中第一健康度用于表征与目标服务器相关的所有目标指标的综合健康程度。

根据本公开的实施例，其中，利用第一目标性能数据计算第一健康度包括：确定第一健康度计算模型；以及将第一目标性能数据输入第一健康度计算模型，输出第一健康度。

根据本公开的实施例，还包括：利用第一目标性能数据计算第二健康度，其中第二健康度用于表征与目标应用相关的多个服务器的所有目标指标的综合健康程度。

根据本公开的实施例，其中，利用第一目标性能数据计算第二健康度包括：利用时序数据库，从第一目标性能数据中筛选出第二目标性能数据，其中第二目标性能数据为与目标应用相关的多个服务器的第一目标性能数据；确定第二健康度计算模型；以及将第二目标性能数据输入第二健康度计算模型，输出第二健康度。

根据本公开的实施例，上述方法还包括：将每台服务器的性能报表发送至运维监控系统；以及在目标指标的性能值超过预设阈值的情况下，通过运维监控系统发出针对目标指标的预警。

根据本公开的实施例，上述方法还包括：根据每台服务器的性能报表，对每台服务器进行应急管理，其中，应急管理包含重启、停止、升级、退库、安装中的至少之一。