[发明专利]一种基于Spark的路网交通运行分析方法

摘要

一种基于Spark的路网交通运行分析方法，以实时交通流数据为基础，结合k‑means和随机森林算法构建了路网交通运行态势判别模型；选择分布式文件系统存储和弹性分布式数据集并行处理交通数据，实现了路网交通运行状态的实时判别。本发明利用Spark大数据机器学习平台，结合分布式k‑means算法进行聚类分析，改善了传统的k‑means算法在大数据情况下，算法时效性的问题，实现路网交通运行状态的判别，分析结果可为高速公路管理部门提供实时、可靠的路网运行状态分析服务，同时可为建立高速公路智慧管控平台提供理论依据。

主权项

1.一种基于Spark的路网交通运行分析方法，其特征在于，包括以下步骤：1)首先利用5台PC机搭建包含一个主节点和四个从节点的Spark大数据机器学习平台；主节点作为大数据机器学习平台的控制节点，从节点作为大数据机器学习平台的工作节点，各节点间在一个局域网内通过千兆以太网进行互相连接通信；2)以实时的交通流数据为基础，在Spark大数据机器学习平台上采用分布式k‑means算法进行交通运行状态聚类，并输出最佳的交通运行状态聚类结果T′；根据实际的交通流运行情况将最佳的交通运行状态聚类结果T′中不同簇中的交通流数据赋予一个交通运行状态，其最终的聚类结果为T＝{(x_i,M_j)；i＝1,2,...,n；j＝1,2,...,5}，其中x_i表示交通流运行数据，包括交通流量、速度和占有率，n为数据集记录数，M_j表示交通流运行数据聚类后的交通运行状态；3)在交通运行状态聚类分析完成后，在Spark大数据机器学习平台上采用随机森林算法对最终的聚类结果T进行训练，利用训练完成的模型建立交通运行状态判别规则，实现路网交通运行状态判别。