[发明专利]基于改进的局部异常因子检测的数据分类方法

摘要

本发明公开了基于改进的局部异常因子检测的数据分类方法，包括：离群因子检测；相似性度量；初始聚类中心点的选取，通过自适应调整k距离参数的局部离群因子检测LOF算法筛选出离群因子较小的数据作为初始聚类中心的候选集；聚类中心的迭代优化。在优化聚类中心迭代阶段，利用离差标准化对数据间的离群因子进行标准化，使得新离群因子new_r_i的取值范围为大于等于1。本发明提高对聚类中心定位以及簇划分的精确度。

主权项

1.基于改进的局部异常因子检测的数据分类方法，包括以下步骤：（1）离群因子检测根据原始K‑means算法在选取聚类中心点时的缺陷，提出了依据数据集中每个数据点的离群因子来排除离群点的方法，得出离群因子的计算公式（I）如下：    （I）表示为点p的领域点N_k(p)的局部可达密度与点p的局部可达密度之比的平均值；如果LOF值趋向1，说明p与其领域点的密度相近，p与该领域属于同一簇的可能性大；LOF越小于1，说明p的密度高于其领域点密度，即p为密集点；相反，LOF越大于1，则p越可能是异常点；（2）相似性度量对数据集的每一个属性如公式（II）进行初步的预处理：          （II）其中，max(x_ij)表示数据第j列的最大值；分别根据公式（III）和（IV）计算出数据中每个属性的熵值与权值：  （III）     （IV） 根据公式（V）计算出来的权值计算数据点之间加权欧式距离： （V）（3）初始聚类中心点的选取 挑选出距离聚类中心点较近的部分数据作为初始聚类中心的候选集，具体步骤如下：Step1：由公式（I）计算出数据中每个数据点的离群因子，并按离群因子值从小到大进行排列形成数据集记为D_L；Step2：在D_L上选取前a*N（0<a≤1,N为数据集的大小）个数据对象作为初始聚类中心的候选集F（a的大小可自适应调整）；Step3：计算数据集F中所有数据的中心点c₀，利用相似性度量，找到距离c₀最远的数据点c₁，把c₁记作第一个初始聚类中心点，再次找到距离c₁最远的点c₂,将c₂记作第二个初始聚类中心点，建立集合C={c₁,c₂}；Step4：计算剩余数据对象x_j分别到集合C={c₁,c₂}的加权距离，记作disc₁,disc₂,…，disc_i，找到点c_i+1=max{min(disc_j1,disc_j2，…，disc_ji)，i+1≤k，x_j∈F}，将c_i+1记为第i+1个初始聚类中心点,即C={c₁,c₂,…,c_i+1}；Step5：重复Step 4，直到找到k个初始聚类中心点；（4）聚类中心的迭代优化 采用离群因子对数据间距离进行加权，具体实现过程如下：Step1：将当前轮k个聚类中心点加入到候选集F中形成新集合F’，计算出F’中每一个对象的离群因子r_i（i∈F’）,并找出r_i的最大值与最小值；Step2：利用离差标准化对数据间的离群因子进行标准化，使得新离群因子new_r_i的取值范围为大于等于1，具体计算见公式（Ⅵ）；   （Ⅵ）在公式（Ⅵ）中，Max_r表示离群因子最大值，Min_r表示离群因子最小值；Step3： 计算F’中每一个对象x_j到聚类中心c_i的加权距离disw（x_j,c_i），然后与离群因子new_r_i相乘，见公式（Ⅶ）；  （Ⅶ）Step4：计算每个对象x_j到聚类中心集C={c₁,c₂,…,c_k}中各点的最小真实距离Min_D_ji,并将对象x_j归为c_i的类中；Step5： 计算同一簇中所有对象的均值作为新的聚类中心，更新聚类中心集；Step6： 重复Step1‑Step 5直到聚类中心不再发生变化;其特征在于：步骤(3)中 Step1的公式（I）计算出数据中每个数据点的离群因子的方法为：通过自适应调整k距离参数的局部离群因子检测LOF算法筛选出离群因子较小的数据作为初始聚类中心的候选集，LOF算法的k距离参数由如下公式自适应调整；（Ⅷ）其中， num(dataset)表示集合dataset的数据对象个数，β值可根据实际经验实际地设置为0.03。