[发明专利]一种基于网格和聚类优化的实时数据流核密度估计方法

摘要

本发明公开了一种基于网格和聚类优化的实时数据流核密度估计方法，采用在线/离线双层框架，在线过程持续维护不断到达的数据流对象，存入先进先出队列，队头和队尾数据映射到相应的网格，进而更新网格的特征向量，原始数据的统计信息被保存在网格六元组内。基于权重K‑means的网格聚类在离线阶段执行，将参与核密度估计的网格数量减少为聚类核数量。得到的聚类，其网格成员、参数β_l,t_l,k和h_l,k根据M‑MMCKDE优化策略修正以确保极小化合并网格重心核的误差，从而得到聚类优化核，据此最终获得查询点的数据流核密度估计结果。本发明具有较高的执行效率和计算精度，适用于对大数据流的处理。

主权项

1.一种基于网格和聚类优化的实时数据流核密度估计方法，其特征在于，包括以下步骤：A、网格预处理过程：将样本数据所在d维实数空间R^d的每个维度进行等宽划分，从而将R^d划分为若干依次相邻且互不相交的超方体网格的集合；B、在线网格维护过程：建立先进先出的在线队列，连续地在队列尾部接收新数据，更新对应网格的特征向量，判断该网格是否进化为密度网格；同时在队列头部丢弃历史数据，更新对应网格的特征向量，判断该网格是否退化为稀疏网格；在网格特征向量的基础上建立网格六元组，将原始数据流样本合并为网格重心点；C、离线聚类过程：每隔固定时间间隔gap进入并发处理的离线阶段；利用权重K‑means算法对网格重心点进行聚类；D、离线优化过程：利用多变量MMCKDE算法对聚类后的网格进行优化；多变量MMCKDE算法使用一个新的聚类优化核代替权重K‑means算法得到的每个聚类中全部的网格重心核，缩小网格重心核与聚类优化核之间的距离，聚类优化核渐次逼近全体网格重心核，得到的聚类优化核作为查询点核密度估计的输入；对第l个聚类，使用聚类优化核代替其中全部网格重心核的总和其中h_l，k是第l个聚类优化核第k维带宽，G为高斯核，β_l为第l个聚类优化核的系数，t_l，k为第l个聚类优化核第k维聚类点，x_k为第k维查询点，g_j＝(j₁，…，j_i，…，j_d)代表网格序号，即g_j表示第j个网格，S_l代表非空网格集合的第l个聚类，代表S_l中第g_j个网格的权值，是第g_j个网格的重心点的第k维度值，是第g_j个网格在第k维的核带宽，K为高斯核；E、离线核密度估计过程：计算m个聚类优化核对查询点核密度的累计，得到最终的数据流核密度估计的结果。