[发明专利]一种提升异常数据挖掘筛选的方法

说明书

本发明公开一种提升异常数据挖掘筛选的方法，应用于数据分析领域，针对现有技术在在动态增加的数据环境中实现起来很困难的问题；本发明首先采用传统的聚类算法对数据集进行聚类，获得初始的聚类簇与异常数据集；对于新增的数据对象计算它和这些簇核心对象的距离，然后计算最小距离所在的簇，加入最小距离小于给定的半径r，则将该新增的数据对象并入该簇中，如果新增的数据队形没有并入到任何初始簇中，则将该数据加入异常数据集中；通过本发明的方法不必再次调用原算法对整个数据集进行重新的聚类，大大的节省了计算时间。

技术领域

本发明属于数据分析领域，可广泛应用于经融、教育、科研、电商等行业，例如教学考评数据、综合素质评测数据、效益评估数据、产品定向推送分析数据等，特别涉及数据聚类、数据挖掘、数据异常分析、局部偏离度量等技术。

背景技术

信息技术不断发展的阶段，各类数据统计决策对数据质量的要求越来越高。要提高数据质量就得有好的数据处理方法，由于系统各种误差带来劣质数据不可避免，一方面是有效数据，另一方面是劣质数据。在这种情况下，更应该考虑如何找出这样的劣质数据并加以剔除，才能提高数据的质量并得到准确的分析的结果

基于此就提出了异常数据挖掘的概念，异常数据挖掘处理是异常数据筛选领域一个重要的部分，通常一个数据集中异常数据被认为是与其他数据有着明显差异的数据。在越来越多的应用领域中异常数据的挖掘筛选有着非凡的意义

随着数据挖掘领域的不断扩展，在对异常数据的不断研究中发现了不少有价值的东西，近些年来异常数据挖掘成了热门的话题，也陆续出现了不少异常数据挖掘的方法，如分步法、聚类法、距离法、密度法等基于局部偏离因子(Local Outlier Factor)出现了很多局部偏离程度的度量算法，这些算法大多基于静态环境数据库，然而在现今不少应用领域，如经融、教育、政务、科研、电商等大部分业务数据库的数据都是动态增加的、不断变化的，新增加的数据是会影响其他某些对象的局部偏离程度的，在对数据进行再次挖掘时将计算所有数据对象的局部偏离因子，相对来说计算的时间复杂度偏高，这些算法在动态增加的数据环境中实现起来很困难。

发明内容

为解决上述技术问题，本发明提出一种提升异常数据挖掘筛选的方法，可以很大程度上降低计算时间加快异常数据挖掘筛选的进度，提升数据质量。

本发明采用的技术方案为：一种提升异常数据挖掘筛选的方法，包括：

A1、从业务数据库中获取数据集，所述数据集包括若干数据对象；

A2、采用传统的聚类算法，对步骤A1所获取的数据集进行聚类，得到初始化的簇与初始化的异常数据集；

A3、获取当前输入的新的数据对象与步骤A2所述各簇的核心对象的距离最小值；

A4、若步骤A3所计算的到的距离最小值小于设定的半径，则将输入的新的数据对象并入距离最小值对应簇；否则将输入的新的数据对象加入异常数据集。

步骤A2具体过程为：

A21、对于数据集中未被访问的数据对象，且该数据对象未被归入某个簇或被标记为异常数据，检查其r邻域，如果其r邻域内包含的数据对象数目大于或等于Mindn，则建立新簇C，并将该数据对象及邻域内包含的数据对象并入C中；

所述r为设定的半径；

A22、如果C中存在未被处理的数据对象，检查其r邻域，如果其r邻域内包含的数据对象大于或等于Mindn，将该数据对象及邻域内包含的点并入C；

A23、重复步骤A22，直到C中的对象都分别处理过；

A24、若数据集中所有数据对象都被访问过，则结束；否则返回步骤A21。

所述设定半径的确定过程为：