[发明专利]一种基于密度和扩展网格的数据流聚类方法

摘要

本发明涉及一种基于密度和扩展网格的数据流聚类方法，利用Spark并行计算平台，对传统的数据流聚类算法进行了分析和改进，提出了基于密度和扩展网格的数据流聚类算法，改进了人工设置聚类参数的缺陷，可以得到任何形状的聚类，算法基本步骤如下1、采用每个采样点的局部密度和与其他采样点的距离，确定了网格中的聚类中心数，自动确定聚类中心，避免了初始质心选取不当对聚类结果的影响；2、网格聚类以外的数据点，通过扩展网格，扩展了网格内的聚类，确保了聚类的准确性；3、引入相邻密度估计与网格边界实现网格的合并，节省内存消耗；4、采用衰减因子实时更新网格密度，反应空间数据流的演变过程。

主权项

一种基于密度和扩展网格的数据流聚类方法，其特征在于，包括以下步骤：步骤S1：在线处理步骤，快速接收一段已经积累了一定时间的数据流，数据根据相应的规则得到每个网格的微簇中心，形成初始聚类；步骤S2：离线调整步骤，离线层检测到数据流的变化后，更新聚类结果，按照pyramid time frame的结构保存聚类结果；步骤S3：随着时间的推移，连续数据流不断到来，聚类结果也随之更新；数据时间越长，重要性越小；步骤S4：引入数据权重λ(0≤λ≤1)作为密度衰减系数，降低历史数据的权重；λ基于数据的权值和生命周期，ω为权值，生命周期为τ，则密度衰减系数满足λτ≤ω；步骤S5：新的数据流到达时，数据空间由初始聚类结果和有新数据更新的网格组成，得到的挖掘结果由pyramid time frame结构来存储数据。