[发明专利]一种基于ES的卡口数据区域碰撞分析的方法

权利要求书

1.一种基于ES的卡口数据区域碰撞分析的方法，其特征在于：

①对所有的卡口数据基于ES进行存储，

索引的列包括卡口编号、过车时间及车牌号；

存储不索引的列包括车型、类别、车身颜色、车牌颜色及速度信息；

②根据预先设定的时间段及卡口信息获取基于ES存储的每个时间段对应的卡口集合，预先设定的时间段及卡口信息至少为两个，获取各个时间段内车辆的过车数据集合，并注册为临时表；

③对得到的各个过车数据集合进行碰撞分析，得到过车数据集合的交集，其中，包括：

ⅰ、将所有临时表进行Group BY操作，并求和，得到每个车牌的总数；

ⅱ、将聚合后的临时表做JOIN操作，并求和；

ⅲ、将结果写入到数据库中。

2.按权利要求1所述的基于一种基于ES的卡口数据区域碰撞分析的方法，其特征在于所述步骤①：

卡口数据存放在关系型数据库中，需要通过Logstash将数据定时抽取到ES中；

设计ES中卡口索引表的格式，其中卡口编号为kkbh，过车时间为jgsk，车牌号为hphm，并将这三个的index属性设为not_analyse，其他设置为no；编写抽取脚本，并设置抽取时间为每分钟抽取一次；

其存储流程是：

A、开始（101）；

B、设计建表语句并创建ES索引表（102）；

C、编写抽取策略配置文件（103）；

D、结束（104）。

3.按权利要求1所述的基于一种基于ES的卡口数据区域碰撞分析的方法，其特征在于所述步骤步骤②：

将用户输入的查询条件列表以JSON形式存入到数据库中，并将参数的ID传入Shell脚本中，Shell将参数ID传入Spark submit命令中并启动Spark应用；Spark程序获得ID，并查询获得参数列表；Spark调用ES的搜索接口，获得对应的数据集，并将数据集注册为临时表；

其查询数据集流程是：

a、开始（201）；

b、将碰撞列表转换为JSON写入数据库（202）；

c、调用Shell脚本传入JSON的ID（203）；

d、Shell调用Spark-submit并传入ID（204）；

e、Spark读取数据库并对每个条件进行查询ES（205）；

f、结束（206）。