[发明专利]一种基于Hadoop的套牌车识别方法

摘要

本发明公开了一种基于Hadoop的套牌车识别方法，本发明的输入为海量的过程记录，首先将削减维度后的有效过车记录迁移到Hadoop集群的HBase中，然后使用Hive从HBase中获取同一车牌号码出现在任意两个监控点的过车记录并按照车牌号码和过车时间分组排序，接着初始化由监控点为顶点集及两两之间距离为边权值的带权图，计算出所有监控点两两之间的最短路径，将其两两组合分块处理，最后创建多个线程，在套牌车规则下根据分块处理后监控点的两两组合并发提交Hive任务来识别套牌车，并通过校正因子获取最终的嫌疑套牌车，本发明与传统环境下不经过优化的方法相比具有较高的运行效率和加速比，可以有效地识别套牌车。

主权项

一种基于Hadoop的套牌车识别方法，其特征在于，该方法具体包括以下步骤：步骤1：在关系型数据库的海量过车记录表中，每一条交通流过车记录由序列号、车牌号码、过车时间、地点编号、方向编号属性组成，删除车牌号码为空的无效记录；削减掉序列号和方向编号两个与套牌车识别方法无关数据维度，将保留车牌号码、过车时间和地点编号三个维度的过车记录迁移到Hadoop集群的分布式数据库HBase中；步骤2：使用分布式数据仓库Hive从分布式数据库HBase中获取同一车牌号码出现在任意两个监控点的过车记录；获取的每一对监控点的过车记录按照车牌号码和过车时间分组排序，即首先按照车牌号码从小到大排序，然后在相同车牌号码的记录中按过车时间从先到后排序；步骤3：初始化由m个监控点为顶点集及两两之间距离为边权值的带权图G，计算出带权图G中所有监控点两两之间的最短路径；将所有监控点的两两组合种分成n份，当n>1且整除时，每份包含种组合，不能整除时，前面n‑1份包含种组合，最后一份包含种组合；将每对监控点di和dj(i≠j)及最短路径值Dist(di,dj)保存到Map＜key,value＞中，以mapi(i＝1,2,3,...,n)表示每份中所有监控点对相对应的Map＜key,value＞的集合，其中key为di@dj，value为Dist(di,dj)值；步骤4：创建n个线程，每个线程根据步骤3得到的mapi，遍历mapi中的key值，封装一个Hive任务，根据套牌车规则并行识别key值中两监控点内的套牌车，即如果某一号牌的车辆通过一对监控点的时间小于在最大极限速度下通过的时间，则将该号牌的过车记录放入候选套牌车集；假设车牌号码为H的车辆通过监控点di和dj的时间差为TDHi,j，在最大极限速度下通过监控点di和dj最短路径下的时间为即当满足规则则将该车牌号码H的过车记录放入候选套牌车集中；步骤5：n个线程并发运行步骤4提交的Hive任务，每个线程负责提交步骤3中每份包含的监控点两两组合相对应的Hive任务进行分布式套牌车识别；在步骤4得到的候选套牌车集中，设置校正因子λ(0＜λ≤1)用于校正最大极限速度，转换为为通过校正因子λ校正后的值并应用于识别套牌车获取最终的嫌疑套牌车集，当满足规则则将该车牌号码H的过车记录放入嫌疑套牌车集中；步骤6：各线程提交完成后，待集群中运行的所有Hive任务执行完毕，输出最终嫌疑的套牌车集中的过车记录。