[发明专利]一种基于ES的卡口数据区域碰撞分析的方法

说明书

技术领域

本发明涉及交通数据分析的技术领域，尤其涉及一种基于ES的卡口数据区域碰撞分析的方法。

背景技术

ES全称为Elasticsearch，是一种基于倒排索引的搜索引擎，能够实现海量数据的存储和毫秒级的查询。

近年来，随着互联网技术及信息处理技术的发展，各种信息的智能化分析及处理成为业内的热门研究内容。加上现今各地的交通设备的大量增加和交通信息工程的建设，为人们的日常生活提供了丰富的信息资源的同时，也增加了交通信息数据的分析处理量。车辆已经成为了人们生活中必不可少的交通工具，每天在各地都会有大量的车辆信息，通过对各地的这些车辆信息数据进行分析可以获取许多重要的情报。尤其是在侦查办案时，车辆作为重要的交通工具，越来越多的案件与车辆相关，因而这些车辆的行程信息，也就是过车数据，体现出了犯罪嫌疑人的活动动态，也就成可以作为许多案件的重要侦破点以及抓捕犯罪嫌疑人的关键突破点。

目前的交通布局是使用卡口或者电子警察对过车图像进行识别，获取车辆的车牌号、车型、车身颜色、车牌颜色、过车时间、车辆行驶速度及卡口编号等信息，将这些信息数据汇聚起来形成过车记录数据。但是，现阶段将这些过车记录数据存储在关系型数据库中，数据量越积越多，对这些数据进行处理时会遇到各种各样的问题。例如，交通信息中包含了大量的图像及处理数据，所占用的存储资源较多，传统的存储方式对存储设备的要求高，会造成存储成本高的问题，且传统的存储方式没有对存储数据的统一管理，还会造成数据存储杂乱无章的问题。按照传统存储方式，对交通信息数据分析处理时，由于庞大的数据量及无规律的存储方式，会提高在查询及分析数据时的难度，还会消耗较长的时间，不能满足实时查看数据结果的需求。在对交通信息数据分析时，特别是在办案侦查时，需要通过车辆在某些特定时间段在相应卡口路段的过车数据分析出该车辆的动态，目前采用区域碰撞分析的方式实现该分析过程。但是，传统的存储方式，交通信息数据之间杂乱无章，各个卡口的过车信息数据存储分散，进行区域碰撞分析的准确性及分析效率均得不到保障。

因此，提供一种高效易实施且便于进行区域碰撞分析的方法是本领域亟待解决的问题。

发明内容

有鉴于此，本发明的目的就在于解决交通信息数据存储无规律、进行区域碰撞分析的准确性差及分析效率低的问题，提供一种基于ES的卡口数据区域碰撞分析的方法，

本发明的目的是这样实现的：

具体地说，本方法包括下列步骤：

①对所有的卡口数据基于ES进行存储，

索引的列包括卡口编号、过车时间及车牌号；

存储不索引的列包括车型、类别、车身颜色、车牌颜色及速度信息；

②根据预先设定的时间段及卡口信息获取基于ES存储的每个时间段对应的卡口集合，预先设定的时间段及卡口信息至少为两个，获取各个时间段内车辆的过车数据集合，并注册为临时表；

③对得到的各个过车数据集合进行碰撞分析，得到过车数据集合的交集，其中，包括：

A、将所有临时表进行Group BY操作，并求和，得到每个车牌的总数；

B、将聚合后的临时表做JOIN操作，并求和；

C、将结果写入到数据库中。

与现有技术相比，本发明具有下列优点和积极效果：

①基于ES采用分布式存储方式存储卡口数据，可以利用Elasticsearch技术在廉价物理机PCServer上搭建起大规模机构化存储集群，并对存储的卡口数据进行统一管理，方便了庞大卡口数据的有序存储及管理；

②基于ES采用分布式存储方式存储卡口数据，方便了卡口数据的查询及分析，进而缩短了处理所消耗的时间，提高了卡口数据分析处理的效率；

③基于ES采用分布式存储方式存储卡口数据，能够大大提高区域碰撞分析的查询效率，进而提升区域碰撞分析的效率。

附图说明

图1为本方法步骤①的存储流程图；

图2为本方法步骤②的查询数据集流程图。

具体实施方式

下面结合附图和实施例详细说明：

1、步骤①

卡口数据存放在关系型数据库中，需要通过Logstash将数据定时抽取到ES中；

设计ES中卡口索引表的格式，其中卡口编号为kkbh，过车时间为jgsk，车牌号为hphm，并将这三个的index属性设为not_analyse，其他设置为no；编写抽取脚本，并设置抽取时间为每分钟抽取一次；

如图1，步骤①的存储流程是：