[发明专利]一种带状态流计算系统中的异常监控及预测方法和系统

摘要

本发明提出了一种带状态流计算系统中的异常监控及预测方法和系统，该方法主要对带状态的流计算系统进行全面实时监控并采集系统性能指标；采用数据降维方法对分类器输入数据进行预处理，然后利用分类算法获取最优的分类平面；通过系统预测模块预测系统下一时刻的运行状态；将预测的运行状态构成的平面与分类器所得的最优分类平面进行比较，最终可以预测出系统是否出现异常，并根据检查结果对分类器进行更新，使得获取的分类平面能自适应系统运行状况，最终达到监控及预测系统运行状态的目的。降维处理不仅实现了降维的目的，减少特征向量的维数，而且缩短了训练时间，计算量并没有随着维数升高而增加很多。

主权项

一种带状态流计算系统中的异常监控及预测方法，包括以下步骤：S1：对带状态流计算系统的运行状态进行实时监控，采集系统运行时的特征属性E，并将这些特征属性存储在历史样本集中；S2：对历史样本集中的数据进行归一化处理，将归一化处理后的数据进行降维处理，得到降维空间F；S3：对降维空间F的特征向量进行分类处理；将降维空间F的特征向量作为SVM分类器的输入，输出最优分类平面S1，得到训练好的SVM分类器。S4：利用马尔科夫模型计算历史样本集的转移概率并得到转移矩阵，然后统计初始时刻数据的分布状况并对系统下一时刻运行状态进行预测；根据预测的系统下一时刻运行状态，输出系统状态所构成的平面S2；S5：对系统状态所构成的平面S2与最优分类平面S1进行比较，如果系统状态构成的平面S2与最优分类平面S1之间的距离大于阈值β，则进行预警，判定系统状态为异常；S6：如果判定系统状态为异常，则将异常样本数据回溯到历史样本集，并随机去掉当前历史样本集中正常样本数据，更新分类器。