[发明专利]基于深度机器学习模型的异常网络数据生成与预测方法

说明书

本发明涉及一种基于深度机器学习模型的异常网络数据生成与预测方法，包括：步骤S1：收集系统组件的历史性能指标数据，并训练异常预测模型；步骤S2：在线收集系统中所有组件的性能指标数据；步骤S3：判断各组件是否存在与其有关联关系的组件，若为是，则执行步骤S4，反之，则执行步骤S5；步骤S4：将两个组件的数据组合成二元组，计算该二元组的残差值，并输入至该二元组对应的异常预测模型，并执行步骤S6；步骤S5：搜索该组件对应的异常预测模型，将该组件的性能指标数据输入至该组件所对应的异常预测模型，并执行步骤S6；步骤S6：判断模型输出的预测结果，若为是存在异常，则进行报警。与现有技术相比，本发明克服了异常预测系统训练时出现的样本不均衡问题，提高模型预测性能。

技术领域

本发明涉及异常预测领域，尤其是涉及一种基于深度机器学习模型的异常网络数据生成与预测方法。

背景技术

随着近年来IT技术的不断发展，IT系统的规模与复杂度不断增长，这使得控制、管理复杂系统变得越来越困难。大型复杂系统中的异常往往会随着系统规模与复杂度的增大，造成严重的、或不可预估的后果。所以，如何有效避免系统发生异常，成为了系统运维环节的一个难题。一般的，可以从异常检测与异常预测两个方面入手以避免复杂系统中的异常。其中，异常检测旨在监测系统性能指标，并根据实时数据判断系统的当前状态，当检测到当前系统状态偏离正常状态时(即发生异常时)，就需要采取必要措施以处理异常。异常检测问题是相对容易的，且相关技术也相对成熟，但异常检测仅能及时检测异常的存在，不能避免异常的发生。而异常预测旨在通过监测系统的实时性能指标，对系统的未来状态进行估计(即预测异常的发生)，当异常预测系统预测到一个异常时，就可以由人工或由系统自动地采取相关措施以避免异常。异常预测问题相对于异常检测问题难度更大，但可以有效避免异常。所以异常预测系统对解决运维中的异常问题有着重大意义。

异常预测问题通常可以被转化成一种特殊的二分类问题，其分类结果仅包括“异常”与“非异常”两类。传统的分类方法的前提是需要大量经过标记的数据做模型训练，虽然训练数据的标记过程往往会耗费巨大的成本，但正、负例数量较为均衡的标记数据对提升分类效果有着重大意义。不同于传统的分类问题，异常预测问题旨在预测到系统中的异常，而往往异常是不经常发生的，这导致异常样本非常的少，如果从特征提取的角度区分正常样本与异常样本的话，实际情况中的训练样本或训练样本不均衡往往会使分类性能显著下降。所以，如何克服异常预测问题中的训练样本不均衡问题，目前是异常预测系统的一个很大的挑战。

由于复杂系统中的监测数据往往是时间序列的形式，在异常预测时，我们需要借助时间序列的时间特性，如周期性等，对序列进行分析。所以，如何利用时间序列的性质对时间序列建模，也是异常预测问题的一大难点。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度机器学习模型的异常网络数据生成与预测方法。

本发明的目的可以通过以下技术方案来实现：

一种基于深度机器学习模型的异常网络数据生成与预测方法，包括：

步骤S1：收集系统组件的历史性能指标数据，并训练异常预测模型；

步骤S2：在线收集系统中所有组件的性能指标数据；

步骤S3：判断各组件是否存在与其有关联关系的组件，若为是，则执行步骤S4，反之，则执行步骤S5；

步骤S4：将两个组件的数据组合成二元组，计算该二元组的残差值，并输入至该二元组对应的异常预测模型，并执行步骤S6；

步骤S5：搜索该组件对应的异常预测模型，将该组件的性能指标数据输入至该组件所对应的异常预测模型，并执行步骤S6；

步骤S6：判断模型输出的预测结果，若为是存在异常，则进行报警。

所述步骤S1具体包括：