[发明专利]性能特征降维方法及装置、电子设备及存储介质在审
申请号: | 201910875358.1 | 申请日: | 2019-09-17 |
公开(公告)号: | CN110737648A | 公开(公告)日: | 2020-01-31 |
发明(设计)人: | 吴超勇 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F16/215 | 分类号: | G06F16/215;G06F16/27;G06K9/62 |
代理公司: | 11327 北京鸿元知识产权代理有限公司 | 代理人: | 袁文婷;王迎 |
地址: | 518033 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 性能特征 有效指标 分布式文件系统 特征降维 指标数据 数据库 计算机可读存储介质 数据处理领域 采集服务器 服务器集群 集群服务器 数据存放 数据清洗 集群 维度 存储 部署 | ||
1.一种性能特征降维方法,应用于电子设备,其特征在于,所述方法包括:
在服务器集群中部署Agent包,通过所述Agent包采集服务器集群中集群服务器的性能指标,并将所采集的所有性能指标形成指标数据集;所述性能指标至少包括CPU参数、mem参数、disk参数;
对所述指标数据集进行基于预设维度的数据清洗以获得有效指标数据;
对所述有效指标数据进行性能特征提取,并将提取出的性能特征存储于HBase数据库;
对存储于所述HBase数据库中的性能特征进行基于PCA的特征降维。
2.根据权利要求1所述的性能特征降维方法,其特征在于,在服务器集群中部署Agent包,通过所述Agent包采集服务器集群中集群服务器的性能指标的过程包括:
在所述服务器集群中的云主机或应用容器中部署Agent包;
调整所述Agent包至集群服务器的防火墙策略,以通过所述Agent包修改中间件启动参数和重启中间件应用并采集性能指标。
3.根据权利要求1所述的性能特征降维方法,其特征在于,对所述指标数据集进行基于预设维度的数据清洗以获得有效指标数据的过程包括:
获取指标数据集,并对所述指标数据集中的指标数据执行奇异值查找预处理;
基于Hadoop剔除所述指标数据的奇异值,并用所述指标数据的算术平均值补充剔除奇异值后的空缺。
4.根据权利要求3所述的性能特征降维方法,其特征在于,所述奇异值查找预处理的过程包括:
计算出指标数据序列值的算术平均值及剩余误差,并根据贝塞尔公式计算出指标数据序列值的标准偏差估计值,根据指标数据序列号从Chauvenet Criterion表中查出与指标数据序列号对应的系数Zc;
对所述指标数据序列值进行奇异值判断,当指标数据序列值的剩余误差大于所述标准偏差估计值与所述系数Zc的乘积时,判断出所述指标数据是奇异值。
5.根据权利要求4所述的性能特征降维方法,其特征在于,所述指标数据序列值为所述指标数据集中存在的指标数据的实际值,所述指标数据序列号为所述指标数据集中指标数据的排列序号,所述预设维度至少包括有效值、均方根值、脉冲指标、裕度指标、均方频率。
6.根据权利要求1所述的性能特征降维方法,其特征在于,在对所述有效指标数据进行性能特征提取的过程中,包括:
通过Hadoop从分布式文件系统HDFS中读取有效指标数据;
提取所述有效指标数据的各维度特征。
7.根据权利要求1所述的性能特征降维方法,其特征在于,对存储于所述HBase数据库中的性能特征进行基于PCA的特征降维的过程包括:
将存储于所述HBase数据库中的性能特征整合为符合预设格式的标准化数据;
根据所述标准化数据建立所述性能特征的协方差、特征值和特征向量,并根据所述协方差、特征值和特征向量计算得出所述性能特征的特征保有率;
基于所述特征保有率得出所述性能特征的主成分系数,计算出所述性能特征的主成分。
8.一种性能特征降维装置,其特征在于,所述装置包括:
部署模块,用于在服务器集群中部署Agent包;
采集形成模块,用于通过所述Agent包采集服务器集群中集群服务器的性能指标,并将所采集的所有性能指标形成指标数据集;所述性能指标至少包括CPU参数、mem参数、disk参数;
清洗模块,用于对所述指标数据集进行基于预设维度的数据清洗以获得有效指标数据;
提取存储模块,用于对所述有效指标数据进行性能特征提取,并将提取出的性能特征存储于HBase数据库;
特征降维模块,用于对存储于所述HBase数据库中的性能特征进行基于PCA的特征降维。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910875358.1/1.html,转载请声明来源钻瓜专利网。