[发明专利]一种基于交通卡口的数据流转处理方法

说明书

本发明公开了一种基于交通卡口的数据流转处理方法，包括如下步骤：通过卡口设备数据抓取服务进行图像数据抓取和识别，形成结构化数据并写入数据分发服务处理队列，同时通过文档存储接口服务，连接到存储设备接口进行图像数据存储；数据分发服务按数据处理计划将数据分发服务处理队列中对应图像数据的结构化数据按照识别结果，将图片图像数据发送至卡口图片分析服务处理队列，将视频图像数据发送至视频智能分析服务处理队列；卡口图片分析服务或视频智能分析服务将分析结果，结合原始图像数据和结构化数据，通过文档存储接口服务调用持久化存储器。该方法可提高适配性和扩展能力。

技术领域

本发明涉及数据识别技术领域，尤其涉及一种基于交通卡口的数据流转处理方法。

背景技术

在交通管理部门的日常管理中，交通卡口是重要的数据来源，对交通卡口数据有效利用可显著提升交通管理信息化水平。在数据利用中，不同的业务子系统需要对同源数据分别进行逻辑处理成不同的业务结构，新产生的数据再进行下级传递，由后续服务再次进行不同的逻辑处理，逐层递进。因此抽取、转换、处理、复用、流转是有效利用的关键环节。传统的ETL虽能满足基本数据抽取、转换、处理和流转要求，但也存在以下不足：

以客户端方式主动请求数据源抽取数据，抽取频率受限数据源，在需要实时处理的业务场景下延时高；处理层次平面化，无层次递进，数据的多级流转需要多次定义表结构，且表结构的变更限制严格，无法灵活快速地适配变更需求；数据转换逻辑没有自定义处理语义，无法扩展特定的业务逻辑；数据复用不友好，对相同数据源的数据复用需要多个作业任务，无法做到抽取一次多次复用，多目标分发；作业任务流转状态反馈不足，无法直观表现数据流转状态，维护难度高。

发明内容

为了克服上述现有技术的不足，本发明所解决的技术问题在于提供一种基于交通卡口的数据流转处理方法，其不但适应不断提高的数据利用要求，降低利用成本，数据流转更多样顺畅，简化数据使用方的业务逻辑，针对传统ETL的痛点，将数据流转过程切分为三个阶段：接入、处理、配送，对三个阶段采用模块化和插件化设计，提高适配性和扩展能力。

为了解决上述技术问题，本发明采用的技术方案内容具体如下：

一种基于交通卡口的数据流转处理方法，应用在服务器上，包括如下步骤：

S1:构建用于抓取卡口设备数据的卡口设备数据抓取服务、用于数据分发的数据分发服务、用于视频智能分析的视频智能分析服务、用于卡口图片分析的卡口图片分析服务及用于对接存储，以进行数据存储的文档存储接口服务；

S2:在数据流转过程中，通过卡口设备数据抓取服务进行图像数据的抓取和识别，形成结构化数据并写入数据分发服务的处理队列，同时通过文档存储接口服务，连接到存储设备的接口进行图像数据的存储；

S3:数据分发服务按照数据处理计划，将数据分发服务处理队列中的对应图像数据的结构化数据按照识别结果，将图片图像数据发送至卡口图片分析服务的处理队列，将视频图像数据发送至视频智能分析服务的处理队列；

S4:分析完成后，卡口图片分析服务或视频智能分析服务将分析结果，结合原始图像数据和结构化数据，通过文档存储接口服务调用持久化存储器，以将分析结果、原始图像数据和结构化数据进行持久化存储。

进一步地，所述S2具体为：

获取卡口设备数据抓取的结构化数据后，通过自定义语义处理，配送至卡口图片分析服务的处理队列之中。

进一步地，所述S2包括：

S21：对所述原始图像数据进行识别，将识别为二次识别数据的图像数据标记并写入数据分发服务的处理队列中；

S22：从数据分发服务的处理队列中，对带司机信息的二次识别数据进行告警判断，若符合告警规则的数据写入数据分发服务的二次识别告警队列；

S23：获取带司机信息的二次识别数据后进行分析处理，将非编司机告警数据写入数据分发服务队列。

更优地，所述S23之后还包括：