[发明专利]基于多视频帧信息和核相光滤波算法的车牌检测识别方法

说明书

本发明提供了一种基于多视频帧信息和核相光滤波算法的车牌检测识别方法。分别构建了不同的深度学习模型来进行单帧图像的车牌区域检测和车牌信息识别，并利用基于核相关滤波算法进行多帧信息跟踪融合，既能够提高车牌识别与定位的准确性，又具有较高的计算效率，可用于实时处理。

技术领域

本发明属智能交通系统领域，具体涉及一种基于多视频帧信息和核相光滤波算法的车牌检测识别方法。

背景技术

近年来，随着社会经济的迅猛发展，智能交通系统(Intelligence TransportSystem,ITS)逐渐成为了世界上交通运输控制与管理领域的热门研究课题。汽车车牌作为车辆的“身份证”，类似人类指纹可以用来唯一的确定车辆的身份。车牌照识别(LicensePlate Recognition，LPR)系统是车辆检测系统中的一个重要环节，这个系统过程如下：首先通过车牌检测技术获取车牌在图片中的位置，然后通过光学字符识别技术(OCR)对车牌号进行识别，获取图片中车辆的车牌号。传统的车牌字符识别方法一般分为字符分割和字符识别两个部分。

如果不考虑复杂的环境背景，传统的车牌识别方法，如基于模板匹配和基于字符特征的识别技术等都可以用于车牌的检测，而实际图像中往往存在背景复杂、车牌模糊、角度倾斜等问题，目前主流的方法采用深度神经网络学习图像的特征。通过研究深度学习模型的参数优化，如卷积核、网络结构、网络深度、激活函数和优化函数等，以及利用高性能的服务器进行GPU加速等方式提高卷积神经网络学习能力。车牌识别方法可以分为车牌检测和车牌识别两个部分：车牌检测可以将车牌视为目标，采用目标检测方法进行检测，如Faster-RCNN、YOLO、Densebox等；车牌识别是将检测到的车牌号识别出来，如CNN+RNN+CTC模型以及CNN+RNN+Attention模型。

以上所述是基于静态图像的车牌识别方法，静态图像识别是基于单帧图片进行车牌识别，图像的清晰度、抓拍角度等很大程度上决定了识别的效果，且单帧图片提供的信息量很少，识别准确度较低。因此，目前研究更多的是基于动态视频的识别方法，能够对视频中的每一帧图像都进行识别，具有受单帧图像影响小、识别技术适应性强、速度快、检测质量好等优点。如果能充分利用视频信息，能够大辐提高车牌识别系统的处理速度和准确率。由于目标在某些视频帧间会存在运动模糊、遮挡、分辨率低等问题，而视频中的上下文信息可以很好的帮助处理这些问题，比较有代表性的方法有T-CNN中的运动指导传播(Motion-guided Propagation，MGP)和多上下文抑制(Multi-context suppression，MCS)、针对视频帧间目标连续漏检的目标跟踪以及基于深度学习的视频目标检测模型等。但这些方法在实时性上效果并不理想，实用性不强。

在实际应用中，已有方法存在：对行车视频内的帧间上下文信息利用不足；自然场景下背景复杂，还可能存在模糊、遮挡、天气恶劣等影响，方法鲁棒性不是很强；车牌检测识别效果不理想等问题。

发明内容

为了克服现有技术的不足，本发明提供一种基于多视频帧信息和核相光滤波算法的车牌检测识别方法。利用不同的深度学习模型分别进行单帧图像的车牌区域检测和车牌信息识别，并利用基于核相关滤波算法进行多帧信息跟踪融合，既能够提高车牌识别与定位的准确性，又具有较高的计算效率，可用于实时处理。

一种基于多视频帧信息和核相光滤波算法的车牌检测识别方法，其特征在于步骤如下：

步骤1：将中国大陆车牌数据集CCPD中每幅图像缩放到大小为512*512的图像，所有缩放后图像及其标注信息构成预训练数据集；

步骤2：分别对预训练数据集中的每幅图像进行增强处理，所有增强处理前和增强处理后的图像及其标注信息共同构成最终的训练数据集；所述的增强处理包括任意角度的翻转、任意尺寸的裁剪和任意程度的色彩变换；