[发明专利]一种基于贝叶斯网络的告警根因分析方法及过滤方法

说明书

本发明提出了一种基于贝叶斯网络的告警根因分析方法及过滤方法，通过构建告警贝叶斯网络，并用于分析告警之间的关联关系，以准确找到根源告警。同时，本发明结合Spark计算引擎并行优化算法，很大程度上提高了算法的时间效率；并且对网络告警进行预处理，过滤网络中发生频率高、持续时间短而重要程度低的颤动告警，以提高告警训练数据的质量，使得构建的告警贝叶斯网络模型的准确度更高。本发明基于上述操作，在准确率和时间效率表现优异，并且在大数据的环境下，能通过和spark框架结合，提升算法的时间效率，能更好的适应大数据环境。

技术领域

本发明属于计算机智能运维告警根因分析技术领域，具体地说，涉及一种基于贝叶斯网络的告警根因分析方法及过滤方法。

背景技术

电信网络中，网络组件通过应用/服务调用而关联。当网络中的某些组件发生故障或监控指标出现异常时，与其相关联的组件或应用会受到不同程度的影响。因此，在网络告警系统中，当某些组件发生告警后，告警可能沿着调用链方向传播。准确分析网络告警根源是进行故障处理的关键，对于提高网络运维效率具有重要意义。

发明内容

本发明针对现有技术的上述需求，提出了一种基于贝叶斯网络的告警根因分析方法及过滤方法，本发明基于贝叶斯网络的分析算法SK2，并结合Spark框架对根因分析进行并行优化，同时针对电信运维应用中存在大量颤动告警的情况，提出了颤动告警过滤方法，以减小颤动告警对训练贝叶斯网络的影响。本发明通过上述操作实现了准确地告警数据的根因分析。

本发明具体实现内容如下：

本发明提出了一种基于贝叶斯网络的告警根因分析方法，首先使用告警数据构建告警训练集；然后利用告警训练集结合Spark引擎训练告警贝叶斯网络，并根据网络结构评分更新贝叶斯网络；最后根据告警贝叶斯网络分析实时告警，找到实时告警之间的关联关系，从而定位根源告警。

为了更好地实现本发明，进一步地，所述构建告警训练集的具体步骤为：

首先给出一个历史告警数据集M，所述历史告警数据集M中包括n个告警种类；

然后根据历史告警数据集M生成一个m×n大小的共现矩阵D；

接着定义一个时间窗口的大小，将告警数据在所述时间窗口进行标记，并构建为一个训练case；

然后移动时间窗口，构建出下一个训练case；

最后将所有构建出的训练case存储在共现矩阵D中得到完整的告警训练集，设定在共现矩阵D上的索引gij为位置(i,j)，代表第i个训练case所对应的关联告警事物集中的第j个告警元，用值x代表位置(i,j)上的告警是否发生，所述x取值范围为0或1，当x等于1时代表告警发生，当x等于0时代表告警不发生。

为了更好地实现本发明，进一步地，所述训练告警贝叶斯网络，并根据网络结构评分更新贝叶斯网络的具体步骤为：

首先创建一个包含X个分区的弹性分布式数据集RDD，采用自定义的分区策略划分多个分区；

然后在每个分区映射同一个告警训练集和一个告警元；

接着在每一个分区中都进行相同的父节点集Pa计算，进行网络结构的评分；

然后汇总收集评分结果；

最后根据评分结构生成告警贝叶斯网络模型。

为了更好地实现本发明，进一步地，进行相同的父节点集Pa计算和网络结构的评分的具体步骤为：

首先，初始化父节点集Pa：＝{}；

其次，计算每个分区对应告警种类i与父节点集Pa的结构评分g_old；