[发明专利]高容错交通卡口过车数据实时抽取的方法及系统

说明书

本发明公开高容错交通卡口过车数据实时抽取的方法及系统，包括：监控设备采集经过道路卡口的车辆的车辆数据信息；监控设备将采集的抓拍图片传输至图片服务器，并将采集的过车记录数据传输至卡口基础平台数据库中过车信息表内；卡口基础平台数据库通过抽取程序按照所述主键字段从过车信息表中对所述过车记录数据进行增量抽取，形成过车记录数据集，并发送至消息服务器；消息服务器将过车记录数据集传输给图像识别服务器；图像识别服务器接收过车记录数据集，并根据过车记录数据集中的过车记录数据从图片服务器中下载抓拍图片，并对抓拍图片进行二次识别。本发明可以对交通卡口过车数据进行抽取、监控和识别。

技术领域

本发明涉及交通技术领域，更具体地，涉及一种高容错交通卡口过车数据实时抽取的方法及系统。

背景技术

近年来随着各地市平安城市、天网工程的深入推进建设，治安监控、交通卡口所拍摄的过车视频和图片对于公安机关案件侦破的作用越来越大。如何从海量过车图片中筛选出目标车辆，成为困扰公安机关的一大难题。近几年机器学习和人工智能的快速发展，图像识别技术愈发成熟。各地天网工程依托于图像识别技术，搭建视频图像处理平台。视频图像处理平台的投入把公安干警从依靠人工排查涉案车辆的繁杂工作中解放出来，大大提升了办案效率。

但是交通卡口由于其分布广、数量多、厂商不一，导致卡口基础平台数据库中的数据混乱无章。传统的ETL(Extract-Transform-Load)工具，如kettle、Informatica、DataStage，很难胜任卡口基础平台数据库的数据抽取工作。具体原因如下：1.过车记录数据中没有“入库时间”字段，只能按照主键字段抽取，主键字段虽然是升序，但是不连续，有时相邻的两条记录的主键会相差几万，导致数据抽取比较困难。虽然过车记录数据中有过车时间字段，但是过车时间不能作为增量数据抽取的字段，因为过车时间是监控设备生成的时间，而监控设备的时间的准确度不高，经常性的需要依靠人工进行时间校对；2.数据抽取对实时性要求较高，需要保障数据延迟在2分钟以内，但是抽取速率也不能过快，否则可能导致消息服务器崩溃；3.卡口基础平台数据库中过车信息表的数据是实时变动的，如果抽取程序所抽取到的最新过车记录距离当前时间太近，意味着抽取程序需要等待新的过车数据入库，在等待的过程中，抽取程序不停的运转造成计算资源的浪费。5.抽取程序异常退出时会造成数据的丢失和重复抽取。传统的ETL工具需要投入大量的工作通过自定义插件的方式来实现，且很难移植，而且有些ETL工具需要高额的授权费用。因此，本发明创造性的提出了这种高容错交通卡口过车数据的实时抽取方法及系统。

发明内容

有鉴于此，本发明提供了一种高容错交通卡口过车数据实时抽取的方法及系统，解决了现有的交通卡口过车数据实时抽取系统存在抽取数据混乱、对数据库和服务器的压力较大、计算资源浪费以及易造成数据的丢失和重复的问题。