[发明专利]一种基于密度和扩展网格的数据流聚类方法

说明书

技术领域

本发明属于数据挖掘技术领域，具体涉及一种基于密度和扩展网格的数据流聚类方法。

背景技术

随着硬件技术、网络通信技术、各种传感设备以及各种信息技术的飞速发展，在社会网络、传感器网络、电子商务、网络监控、气象环境监测以及金融零售企业等多个应用领域，产生了大量实时的动态数据，称之为流式数据。

与传统的数据类型不同，流式数据具有数据量大，无限长或未知长度，动态变化快，速率不稳定，访问历史数据成本高等特点。使用传统的数据挖掘算法来处理流式数据是非常困难的，所以基于数据流的聚类算法应运而生。

现有技术中的数据流聚类算法是基于距离的测量方法；对于具有连续属性的数据，集群的中心通常是质心，聚类的结果也偏球形，非凸数据的聚类质量较差。此为现有技术的不足之处。

因此，针对现有技术中的上述缺陷，提供设计一种基于密度和扩展网格的数据流聚类方法；以提升聚类的精度和效率，并有效地应用于大数据聚类。

发明内容

本发明的目的在于，解决传统的数据流聚类算法人工设置聚类参数、初始质心选取不当、内存消耗大、聚类效率低等缺陷，通过对基于数据流的密度网格聚类算法进行改进，确保聚类结果的准确性，具有聚类效果好、挖掘效率高等优点。

为实现上述目的，本发明给出以下技术方案：

首先在线层处理已经积累了一段时间的数据流，得到初始聚类结果，根据数据流的更新信息，重新计算网格密度，不断更新聚类结果。首先假设数据集(S₁,S₂,…,S_d)具有d维属性，并且数据空间S＝S₁×S₂×…×S_d是d维数据空间。x＝(x₁,x₂,…,x_d)表示在t时刻、数据空间S上的数据点集合。把数据空间的每个维度S_i(1≤i≤d)划分成p份，相等长度且互不相交，在每个维度的正方向上延长区间的长度，从而形成有限的超矩形区域。每一个超矩形区域就是一个网格单元，任何一个数据集合x都可以映射到相应的网格单元，记为g(x)＝(j₁,j₂,…,j_d)，其中j_i＝1,2…p，共有个网格单位。为了不失一般性，假设每个维度区间都是半开半闭的区间[l_j,r_j)(j＝1,2,…,d)，那么点集x就可以表示为x＝[l₁,r₁)*[l₂,r₂)*…*[l_d,r_d)。

一般说来，网格内部的聚类密度值高于聚类以外密度值和边界点的密度值。聚类孤立点的密度值与聚类中心点的密度值之间存在明显的差距。由于相同的聚类集包含了相对较高密度点集合的连接区域，不同的聚类集合通过相对较低的密度点集合区域来区分，因此不同聚类之间的区域密度差异很大。在网格单元格中，找到网格的中心，就可以确定网格中的聚类个数。

由于集群中心点的密度不小于它邻近点的密度值，所以两个聚类中心之间的距离会非常远。定义样本点x的密度值为ρ_x：

ρ_x＝∑_yχ(d_xy-d_c)(1)

其中d_xy是从点y到点x的距离，d_c是距离的临界值。而ρ_x是距离样本点x的距离小于d_c的点的个数。

δ用于测量样本点x和其他局部密度大于其自身密度的样本点的距离。δ_x表示样本点x的排斥点。

δ_x＝min(d_xy)y：ρ_y＞ρ_x(3)

排斥点越小，表示点x和点y越接近，点x对点y的依赖越大，点x越有可能是点y的聚类；排斥点越大，说明点x和点y之间的距离越远，点x对点y的依赖越小，点x越可能是异常值或者是其它聚类的点。数据点ρ和δ的分布情况如图1所示。