[发明专利]一种基于K-means的海量流式数据的聚类方法及系统

摘要

本发明提供了一种基于K‑means的海量流式数据的聚类方法及系统，所述方法包括：获取互联网用户的行为数据，对所述行为数据进行预处理，转化成用于聚类分析的数据；调用Streamin K‑means算法对所述数据进行聚类分析，所述Streamin K‑means算法根据时间间隔将数据流拆分成小批次数据，基于更新规则，对所述小批次数据进行处理，持续更新聚类模型。本发明基于用于处理实时流式数据的计算引擎Spark Streaming，并对传统的基于Spark的K‑means算法进行流式改进，将要处理的数据看作流式数据，对海量实时数据进行聚类分析，不断更新聚类模型，对高速数据流进行实时处理与在线分析，从而能够基于分析结果发现商机与应对风险。