[发明专利]性能特征降维方法及装置、电子设备及存储介质

说明书

本发明涉及数据处理领域，提出一种性能特征降维方法、装置及计算机可读存储介质，该方法包括：在服务器集群中部署Agent包，所述Agent包采集服务器集群中集群服务器的性能指标，构成指标数据集；对所述指标数据集进行各维度的数据清洗获得有效指标数据；将所述有效指标数据存放于HDFS分布式文件系统中，对所述HDFS分布式文件系统中的有效指标数据进行性能特征提取，并将提取出的性能特征存储于HBase数据库；对所述HBase数据库中的性能特征进行基于PCA的特征降维。

技术领域

本发明涉及数据处理领域，尤其涉及一种性能特征降维方法及装置、电子设备及存储介质。

背景技术

伴随着数据库技术的广泛应用和发展，在数据库的基础上产生了能够满足决策分析所需要的数据环境，集群服务器性能种类繁多，各指标数据均能够从不同维度反应主机的健康状态，但数据环境庞大，极易存在数据繁杂，对服务器定位不准确的问题，所以需要对繁杂的性能指标进行数据清洗。

只有通过分析“脏数据”的产生原因和存在形式，利用技术手段和方法去清洗“脏数据”，将原有的不符合要求的数据转化为满足数据质量或应用要求的数据，才能将服务器的问题定位的更加准确，但是在现有的模型训练过程中，对全指标的训练模型复杂，效率低下，很难准确地根据性能指标得出预测结果。

因此，亟须一种服务器性能特征降维方法，以降低对全指标训练模型的复杂度，节省模型训练的时间成本，大大降低后续特征分析、模型训练、数据挖掘复杂度，能让各个层面的性能指标更准确、更高效反映主机健康状态。

发明内容

本发明提供一种性能特征降维方法及装置、电子设备及存储介质，其主要目的在于通过采集数据并进行数据清洗，提取性能特征，然后对性能特征降维来降低全指标训练模型的复杂度，节省模型训练的时间成本，降低后续分析、数据挖掘的复杂度，使各个层面的性能指标更明确、更高效地反映服务器集群中集群服务器的健康状态。

为实现上述目的，本发明提供的性能特征降维方法，应用于电子设备，所述方法包括：

在服务器集群中部署Agent包，通过所述Agent包采集服务器集群中集群服务器的性能指标，并将所采集的所有性能指标形成指标数据集；所述性能指标至少包括CPU参数、mem参数、disk参数；

对所述指标数据集进行基于预设维度的数据清洗以获得有效指标数据；

对所述有效指标数据进行性能特征提取，并将提取出的性能特征存储于HBase数据库；

对所述存储于所述HBase数据库中的性能特征进行基于PCA的特征降维。

在一个实施例中，在服务器集群中部署Agent包，通过所述Agent包采集服务器集群中集群服务器的性能指标的过程包括：

在所述服务器集群中的云主机或应用容器中部署Agent包；

调整所述Agent包至集群服务器的防火墙策略，以通过所述Agent包修改中间件启动参数和重启中间件应用并采集性能指标。

在一个实施例中，对所述指标数据集进行基于预设维度的数据清洗以获得有效指标数据的过程包括：

获取指标数据集，并对所述指标数据集中的指标数据执行奇异值查找预处理；

基于Hadoop剔除所述指标数据的奇异值，并用所述指标数据的算术平均值补充剔除奇异值后的缺值。

在一个实施例中，所述奇异值查找预处理的过程包括：

计算出指标数据序列值的算术平均值及剩余误差，并根据贝塞尔公式计算出指标数据序列值的标准偏差估计值，根据指标数据序列号从Chauvenet Criterion表中查出与指标数据序列号对应的系数Z_c；