[发明专利]一种分布式系统中的性能异常预测方法及系统

说明书

技术领域

本发明涉及一种性能异常检测预测方法及系统，尤其涉及一种分布式系统中的性能异常预测方法及系统。

背景技术

在分布式系统中，各个计算机是相互独立的，可以是物理上相邻的，也可以是地理上分散的，它们通过网络或者其他方式进行连接，组成一个整体。从研究上来讲，分布式计算具有以下特点：1.资源共享；2.可伸缩性；3.容错性；4.并发性。

为了更好地体现分布式计算的强大的处理数据计算的能力，对分布式计算环境进行监控将变得尤为重要和关键。系统必须协调这些任务的运行、合理分配资源使资源得到充分的利用并提升整个系统的性能。通常情况下，系统采用调度程序来管理这些任务。调度程序会采集系统中各种资源的相关信息以确定资源是否可用，然后调度算法根据资源的可用性、任务的运行时间等来确定任务的优先级并分配给它们可用的资源。然而随着任务的运行，各种资源的状态，如CPU负载、剩余内存、硬盘剩余空间等会随时发生改变，如果在实行调度之前，就能预测到资源在未来某个时间是否依然可用，并合理地避开异常时段对资源的使用，那么系统的调度结果将更加理想。因此，对系统中的资源进行实时监控，并在异常发生之前探测到异常的预兆具有重要的意义。

系统性能异常是指在软件运行期间，由于资源逐渐耗尽或者运行错误逐渐累积所导致的计算机系统性能逐渐下降，最终下降到人们所不能容忍的程度的现象。系统性能异常通常是系统状态行为(如，CPU负载，内存使用率等)不能维持现有的应用程序工作。大多数异常预测模型都只是基于回归技术的模型，而回归技术具有其特定的局限性，因此此类模型存在着各自的缺陷，或者只适用于特定的数据，或者预测误差较大等。而基于已存在的基于分类的异常预测模型，仍需要人工对历史数据分配标识，自动化程度不高，并且只是从变量值的角度去观察，不能全面考虑变量的特征，因此预测结果会存在一定的误差。

发明内容

本发明的目的在于提供一种分布式系统中的性能异常预测方法及系统，解决了对分布式环境性能预测自动化程度不高、只是从变量值的角度去观察而不能全面考虑变量的特征的问题。

为了解决上述问题，本发明涉及了一种分布式系统中的性能异常预测方法，包括以下步骤：

S1：从监控系统中的若干监控结点得到的历史性能数据中提取出目标数据值作为训练的数据源，并计算出数据源中各历史数据模式的特征值；

S2：根据各历史数据模式的特征值来分别得到各种状态下各历史数据模式的先验概率分布，并统计各种状态的概率分布，从而训练出各种数据模式的状态的贝叶斯模型；

S3：根据监控系统获取的实时性能数据计算出当前数据模式的特征值；

S4：从所述历史数据模式中找到与当前数据模式最相似的数据模式；

S5：根据S4的输出结果通过S2中训练的贝叶斯模型来预测，分别得出所述多种状态的概率分布；

S6：根据S5中结果来设置自信因子和异常阈值，若自信因子超出异常阈值则预测为异常状态。

较佳地，所述特征值包括性能值变化量、性能值变化率和性能值。

较佳地，S2中将所有历史数据模式的各种特征值方差按取值大小排列，并划分为若干子空间，计算各子空间所对应的特征值方差的特定状态的先验概率。

较佳地，S2中根据所述各历史数据模式的特征值训练出各历史数据模式的贝叶斯模型，分别得到各模式的多种状态的先验概率。

较佳地，S4中进一步包括：

计算当前数据模式与各历史正常模式之间的特征值的标准方差；

得出与当前数据模式所有标准方差之和最小的历史数据模式为当前数据模式的最相似模式。

较佳地，所述状态为异常状态，警告状态以及正常状态。

较佳地，S6中还包括设置报警阈值，若自信因子在报警阈值与异常阈值之间，则预测为报警状态，若自信因子小于报警阈值则预测为正常状态。

为了解决上述问题，本发明还涉及了一种分布式系统中的性能异常预测系统，与分布式系统的监控系统相连，包括：

历史特征值计算模块，从监控系统中的若干监控结点得到的历史性能数据中提取出目标数据值作为训练的数据源，并计算出数据源中各历史数据模式的特征值；

先验概率模块，与历史特征值计算模块的输出端相连接，根据各历史数据模式的特征值来分别得到各种状态下各历史数据模式的先验概率分布，并统计各种状态的概率分布，从而训练出各种数据模式的状态的贝叶斯模型；

实时特征值计算模块，根据监控系统中的若干监控结点获取的实时性能数据计算出当前数据模式的特征值；