[发明专利]LTE网络中的异常值检测方法及系统

摘要

本发明提供一种LTE网络中的异常值检测方法及系统，通过将实测数据划分为训练集和测试集，在训练集中定义集群和参数，由聚类算法找到各数据点所属的集群，根据参数值和聚类的结果，计算每个数据点的似然值，依据设定的预警阈值、报警阈值将似然值分成异常区域、中间区域和正常区域；将已经计算出的模型应用在测试集中，每个数据点的似然值均被计算出来，并分到各区域中，从而找到测试集中的异常值。该方法及系统，在模型中增加时间轴可以更好地理解数据点在时间上的变化，进而可从多个点组成的序列中发掘多个异常值，而不是单个异常值。该方法可快速地检测出异常值，在某个异常值出现后可提前发现，且误差率很低。

主权项

1.一种LTE网络中的异常值检测方法，其特征在于：包括以下步骤，S1、加载实测数据，实测数据根据预先选定的指标产生，且具有对应的时间，将所有的数据划分为训练集和测试集，测试集和训练集相互独立，但包含相同的变量；S2、在训练集中定义集群和参数，由聚类算法找到各数据点所属的集群；S3、根据参数值和聚类的结果，计算每个数据点的似然值，在推导的模型下，一个数据点的似然值就是其概率密度；S4、依据设定的预警阈值、报警阈值将似然值分成异常区域、中间区域和正常区域；S5、将已经计算出的模型应用在测试集中，每个数据点的似然值均被计算出来，并且这些数据点被分到异常区域、中间区域和正常区域三个区域中，从而找到测试集中的异常值；步骤S2中，聚类算法采用基于高斯概率的潜在语义分析模型，即GPLSA算法，已知观测值集合W和时间轴集合D，观测值集合W中的每个数据点都有时间轴集合D中的一个数据点与其对应；GPLSA算法对所有的集群k、每个时间的水平对应的值s，近似估计出未知参数mk、∑k和αk，s，mk表示第k个集群所对应的均值，∑k表示第k个集群所对应的协方差矩阵，αk，s表示时间对于水平为s、集群为k时所对应的概率；进而得出每个数据点最可能的集群和未知参数mk、∑k和αk，s的似然估计；GPLSA算法具体为：S21、对所有的k、s，当t＝1时，t表示进行迭代的次数，对参数α_k，s赋予初值，表示第k个集群的均值初始值，表示第k个集群的初始协方差矩阵，α_k，s表示时间对于水平为s、集群为k时所对应的概率；S22、对所有的k、i，当W_i＝w_i，D_i＝d_i时，w_i、d_i分别表示第i个数据点的观测值、时间值，计算观测值Z_i的组别为k时即Z_i＝k的概率和参数其中，i为数据记录数，t表示进行的第t次迭代，表示在第k次迭代中，第i个观测值属于集群k的概率；f表示在第k个集群中，均值为协方差矩阵为进行第t‑1次迭代时观测值为w_i的概率；表示第k个集群，时间值是d_i，进行第t‑1次迭代的概率；表示第k个集群的第t‑1次迭代时均值初始值；表示第k个集群的第t‑1次迭代时方差初始值；S23、对于所有的k、s，计算其中，#E_s表示集合E_s的长度；表示概率值的数学期望；表示第j次迭代，下标为j的所有观测值E_s(j)属于集群k的概率；E_s(j)表示下标j的集合；S24、对于所有的k、s，更新概率αk，s：其中，表示概率值的数学期望；表示属于集群1时的数学期望；S25、对于所有的k，更新均值其中，w_i表示第i个数据的观测值；表示在第k次迭代中，第i个观测值属于集群k的概率；S26、对于所有的k，更新协方差矩阵：其中，′表示转置，w_i表示第i个数据的观测值；m_k表示第K个集群所对应的均值；表示在第k次迭代中，第i个观测值属于集群k的概率；S27、令t＝t+1并重复步骤S22‑S27，直到某个时间T收敛，在该时间，估计出参数；S28、对于每个i，选择的k是使最大化的k，表示在第k次迭代中，第i个观测值属于集群k的概率；S29、对于每个i，估计的参数点的似然函数是：其中，P(d_i)表示第i个数据点时间水平为d_i的概率；表示在第T次迭代中，集群1的均值；表示在第T次迭代中，集群1的协方差矩阵；表示在第T次迭代中，属于集群1，时间水平为d_i的概率；GPLSA算法中，假设一：假设每个观测值来自于以1‑K为标记的组，记录所属组别被标记为Z＝(zi)i，每个数据点的组别假设为确定的，但是未知的，定义该集合为潜在变量，将所有属于第一组的点称为集群1，以此类推，直至集群K；假设二：观测值和潜在变量的联合分布可被分解为基于样本的产品；已知观测值zi的组别为k，假设观测值wi来自于一个服从均值为向量mk，方差矩阵为∑k的高斯分布；假设三：GPLSA算法引入潜在组和时间轴之间的依存关系，已知每个时间值di的水平对应的值s，相关的潜在值属于k的概率与参数αk，s成比例，以下式(1)将αk，s改写为方程式，其中大写字母表示随机变量：αk，s：＝P(Zi＝k|Di＝s)       式(1)；假设四：潜在变量、观测值和时间轴是条件独立的，即：P(Wi＝w|Di＝s，Zi＝k)＝P(Wi＝w|Zi＝k)    式(2)。