[发明专利]一种基于高斯混合模型的通信数据异常检测方法

说明书

本申请提供了一种基于高斯混合模型的通信数据异常检测方法，解决了现有的基于统计方法的异常检测预测效果不理想、计算复杂度高的技术问题。其包括以下步骤：输入数据集：输入网络通信行为数据集，数据集为若干条通信在各个阶段的时间成本集合；确定隐变量：每个阶段的数据均来自高斯混合模型，设定隐变量为链路编号Z，且取值范围为[1,K]；构成每个高斯混合模型的高斯分布的数量等于链路条数K；参数求解：通过EM算法，进行迭代求解，对该隐变量确定的高斯混合模型进行参数求解；异常检测：新通信行为出现时，通过计算该通信行为的数据点来自高斯混合模型的概率，来预测是否存在异常攻击。本申请广泛应用于通信数据异常检测技术领域。

技术领域

本申请涉及通信数据异常检测技术领域，更具体地说，是涉及一种基于高斯混合模型的通信数据异常检测方法。

背景技术

异常检测是指在数据中寻找不符合预期行为的数据的问题。数十年来，异常检测一直是一个活跃的研究领域，早期探索可以追溯到1960年代。由于在广泛领域的需求和应用不断增加，例如风险管理，合规性，安全性，金融监视，健康和医疗风险以及AI安全性。大多数异常检测技术可以分类为基于分类的，基于最近邻的，基于聚类的，基于统计技术的和基于深度学习的。

分类方法从训练数据中学习得到分类器，然后使用分类器将测试样本分类。基于分类的异常检测技术以类似的两阶段方式运行，培训阶段使用标记的训练数据学习分类器，测试阶段使用分类器将测试样本分类为正常或异常。基于可用于训练阶段的标签，基于分类的异常检测技术可以分为两个主要类别：多类和Oneclass异常检测技术。多类的异常检测技术假设训练数据包含属于多个正常类的标记样本这样的异常检测技术教分类器来区分每个正常类和其他类别。如果任何分类器都不将测试样本分类为正常，则将其视为异常。基于单级分类的异常检测技术假设所有训练样本都只有一个类标签。这样的技术使用一级分类算法在正常样本周围学习一个边界。构建分类器的各种异常检测技术包括基于神经网络的异常检测技术，基于贝叶斯网络的异常检测技术，基于支持向量机的异常检测技术，基于规则的异常检测技术。基于分类的技术依赖于标签的准确度。

基于最近邻的异常检测技术需要在两个数据样本之间定义的距离或相似性度量。可以以不同的方式计算两个数据样本之间的距离或相似性，可以广泛分为两类：使用数据样本与其K个最近的样本作为异常得分的技术和计算每个数据样本的相对密度以计算其异常得分的技术。最近基于邻居的技术的关键优势是它们在本质上是无监督的，并且对数据的生成分布没有任何假设。但是测试阶段的计算复杂性是一个重大的挑战，因为它涉及计算每个测试样本的距离以及属于测试数据本身或训练数据的所有样本来计算最近的邻居。同时，当数据复杂时，定义样本之间的距离度量可能具有挑战性。

基于聚类的异常检测技术主要基于以下三个假设：(1)正常数据样本属于数据中的类，而异常样本不属于任何类；(2)正常的数据样本位于其最接近的类的质心附近，而异常远离其最接近的类的质心；(3)正常的数据样本属于大型和密集的簇，而异常属于小或稀疏的簇。几种基于聚类的技术需要两个样本点之间的距离计算，因此，在这方面，它们类似于最近的基于邻居的技术，距离度量的选择对于技术的性能至关重要。但是，这两种技术之间的关键区别在于，基于聚类的技术在类中对每个样本进行评估，而基于最近邻的技术在邻域中对每个样本点进行评估。该方法也是无监督的，但其性能高度取决于聚类算法在该样本集结构中的有效性。且只有在异常中不形成重要的簇的情况下，几种基于聚类的技术才有效。该技术中计算复杂度也常常给解决问题带来困难。