[发明专利]一种基于密度的增量聚类数据挖掘方法及系统

说明书

技术领域

本发明涉及数据挖掘领域，尤其涉及一种基于密度的增量聚类数据挖掘方法及系统。

背景技术

随着计算机和网络技术的迅猛发展，数据库的规模和应用范围也随之不断扩大，人们获取数据的途径也越来也多，获取数据的方式也更趋于自动化，使得获取数据变得更加容易，人们对数据的认识也逐步深入。

目前一些应用领域，诸如电信、互联网、物流、经济、军事、金融、生物医药等等，都产生了大量的不同类型的数据，可以将这些数据大致分为确定性数据和不确定性数据，其中，确定性数据中又可以分为空间数据(即多维数据)和非空间数据(如DNA序列等)，不确定性数据又可以分为元组不确定性数据和属性不确定性数据。而且，这些数据不同于传统的静态数据，随着时间的推移，这些数据会逐渐的增加。传统的数据分析方法很难对其加以有效的分析，如何从中快速高效的发掘有价值的信息，引起了众多研究人员的关注。

近年来，数据挖掘技术成为了人们眼中的焦点，数据挖掘的目标就是从海量的数据中抽取潜在的、有价值的模式和知识。聚类分析是数据挖掘的重要手段，目前被广泛应用的聚类算法，通常只适用于静态数据集的聚类，而对于动态数据集，新增数据后则需要使用聚类算法，重新进行聚类，这样必然造成了聚类效率的低下和计算资源的浪费。

因此，如何提高对动态数据集的数据挖掘效率一直以来就是业界亟需改进的目标。

发明内容

有鉴于此，本发明实施例的目的在于提供一种基于密度的增量聚类数据挖掘方法及系统，旨在解决现有技术中对动态数据集进行数据挖掘的效率较低的问题。

本发明实施例是这样实现的，一种基于密度的增量聚类数据挖掘方法，包括：

采用DBSCAN算法对原始数据集进行聚类处理，以得到有类标签的数据；

对所述有类标签的数据当添加有新的数据时，则采用IncrementalDBSCAN算法对所述有类标签的数据进行增量聚类处理；以及

将两次聚类处理的结果进行迭加以形成最终数据挖掘结果。

优选的，所述对所述有类标签的数据当添加有新的数据时，则采用IncrementalDBSCAN算法对所述有类标签的数据进行增量聚类处理的步骤包括：

判定对所述有类标签的数据所做的数据操作方式，并根据不同的数据操作方式分别处理所述有类标签的数据；以及

根据不同数据类型，对所述有类标签的数据进行增量聚类处理。

优选的，所述判定对所述有类标签的数据所做的数据操作方式，并根据不同的数据操作方式分别处理所述有类标签的数据的步骤包括：

当进行插入操作时，若插入对象符合预设噪音条件则将该插入对象标记为噪音，若插入对象符合预设创建新聚类条件则为该插入对象创建一个新聚类，若插入对象符合预设归并同一聚类条件则为该插入对象归并到同一个聚类中，若插入对象符合预设合并不同聚类条件则为该插入对象合并到不同的聚类中；

当进行删除操作时，若插入对象符合预设删除条件则将该插入对象删除，若插入对象符合预设消除聚类条件则将与该插入对象相类似的其他对象标记为噪音，若插入对象符合预设减少聚类对象条件则为该插入对象标记为噪音，若插入对象符合预设聚类分裂条件则为该插入对象分裂成一个或者多个聚类。

优选的，所述根据不同数据类型，对所述有类标签的数据进行增量聚类处理的步骤包括：

当数据类型为空间数据时：

根据所述有类标签的数据的横坐标与纵坐标各自对应的最大最小值，建立哈希表；

根据所述哈希表构建索引；

利用给定的数据点在所述构建索引中进行搜索，以寻找满足预设条件的数据点。

优选的，所述根据不同数据类型，对所述有类标签的数据进行增量聚类处理的步骤还包括：

当数据类型为非空间数据时：

根据三路分割算法对所述有类标签的数据进行划分；

利用MVP-Tree结构建立索引；以及

利用给定的数据点在索引中进行搜索，以寻找满足预设条件的数据点；

其中，所述三路分割算法具体包括：

计算本次任务中数据点到指定支撑点的距离；

在计算得出的所有距离中，找到将数据集分为三个部分的两个分位数；

如果两个分位数差值的绝对值小于2r，则找出在数据集中位数a，并将a+r及a-r的值当做将数据集分为三个部分的两个数值点，其中，r为搜索半径；

将与两个分位数不同的数据点划分到合适的类中，并将相同的数据点存入相同数据库中；