[发明专利]一种基于卡口数据的行车规律分析系统和方法

说明书

本发明公开了一种基于卡口数据的行车规律分析系统和方法，所述系统包括：kafka服务器、kudu数据库，NiFi数据处理与分发系统，和spark服务器技术系统，其中，kafka服务器用于获取和存储卡口数据流；NiFi数据处理与分发系统通过consumerKafka组件从kafka服务器获取卡口数据流，通过putkudu组件将卡口数据流发送到kudu数据库；spark服务器技术系统从kudu数据库获取卡口数据，基于所述卡口数据对指定车辆执行行车规律分析。本发明将kafka服务器、Nifi、kudu数据库和spark相结合，从行车数据的存储、传输、检索和分析等方面都具有明显改善。

技术领域

本公开属于城市智慧交通技术领域，尤其涉及一种基于卡口数据的行车规律分析系统和方法。

背景技术

近年来，随着各地智能交通信息系统工程的持续建设和投入，交通设施设备大量增加，尤其是卡口系统的数量快速增长，这导致卡口系统产生的过车数据迅速膨胀，产生了海量的过车数据。

将实时数据存放在kafka或RabbitMQ等其他消息中间件中，能够解决实时数据存储的问题，但在数据量巨大的前提下，kafka最长仅能保存一星期，数据只能做流式计算，例如一个城市有几千个卡口，每个卡口有8个摄像头，视频落地，视频分析后的车牌数据汇聚是的并发压力很大。

传统的存储方式Oracle，能够解决普通应用的SQL查询，但是对10亿以上的数据量查询速度比较慢，做集群成本太高。Elasticsearch能够解决大数据量查询的问题，但是数据分析方面较为薄弱。Hdfs存储能够进行离线计算，但是耗时比较长。

综上，现有的存储方式均不能兼顾数据的存储、查询和分析的效率，不能适应于公安部门，因此，公安部门在利用过车数据分析嫌疑车辆和嫌疑人侦查打击过程中，对过车数据的综合分析的效率和准确度提出了更高的要求。

发明内容

为克服上述现有技术的不足，本公开提供了一种基于卡口数据的行车规律分析系统和方法，所述系统包括：kafka服务器、kudu数据库，NiFi数据处理与分发系统，和spark服务器技术系统，采用kafka服务器存储实时数据，通过NiFi将kafka中的数据读入到kudu数据库中实现历史海量数据的存储，同时借助spark数据分析引擎执行行车规律分析，从数据读取和分析效能方面都具有明显改善，有助于公安部门快速获取行车分析结果。

为实现上述目的，本公开的一个或多个实施例提供了如下技术方案：

一种基于卡口数据的行车规律分析系统，包括：kafka服务器、kudu数据库，NiFi数据处理与分发系统，和spark服务器技术系统，其中，

kafka服务器用于获取和存储卡口数据流；Apache NiFi数据处理与分发系统通过consumerKafka组件从kafka服务器获取卡口数据流，通过putkudu组件将卡口数据流发送到kudu数据库；

spark服务器技术系统从kudu数据库获取卡口数据，基于所述卡口数据对指定车辆执行行车规律分析。

进一步地，所述spark服务器技术系统从kudu数据库获取卡口数据后，首先执行数据预处理：

获取一段时间内的卡口过车数据，执行行转列操作，得到以车牌号为主键的卡口数据，然后按时间排序；

循环遍历排序后的卡口数据，获取每两个卡口之间的时间间隔数据集；

对每两个卡口之间的时间间隔数据集进行聚类分析，得到每两个卡口之间的合理间隔时间。

进一步地，所述得到每两个卡口之间的合理间隔时间包括：

对于每两个卡口之间的时间间隔数据集，通过聚类分析得到两类：正常过车时间和异常过车时间；取两类分界对应的时间间隔作为合理间隔时间。