[发明专利]一种基于热力图和关键点回归的深度车牌检测方法

说明书

一种基于热力图和关键点回归的深度车牌检测方法，包括离线学习阶段和检测阶段，离线学习阶段包括以下四个步骤：(1)设计网络深度：设计深度学习网络结构，将输入图像调整统一，对图像进行第一层卷积和激活函数操作，再进行第二层卷积、激活函数和池化操作，然后进行第三层卷积、激活函数和池化操作，然后形成多任务分支，一个分支通过一个卷积层学习车牌坐标，另一个分支通过另一个卷积层学习车牌热力图；(2)准备训练样本集：获取一批车头或车尾图像作为离线学习的样本集，样本总类数越多，训练效果越好，并对样本大小统一化；本方法利用离线训练的深度网络表征目标，达到快速、稳定的对目标物进行车牌检测的目的。

技术领域

本发明涉及智能交通领域，一种基于热力图和关键点回归的深度车牌检测方法。

背景技术

近年来，基于视频的车牌检测识别技术在智能交通领域的重要性不断提升，车牌检测识别准确率是判断车牌识别技术发展的重要指标。车牌识别技术可以应用于小区停车管理系统、重要交通枢纽处的“电子眼”系统、高速公路车速管理系统等多个领域，对公共安全和国家发展带来了很多方便和保障。随着交通环境的不断复杂化，已出现一些车牌识别相关产品渐渐无法满足用户实时性的需求。传统的车牌识别系统主要流程是：输入图像，对图像进行降噪、灰度化，边缘检测等预处理，然后根据提取的边缘特征进行车牌定位，最后分割字符和识别。但在复杂的环境中采集到的图像，车牌的漏检和误检率都比较高，很难高效的、准确的完成车牌的识别。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。深度学习方法模型不仅正确率较高，在光照变化和噪声污染下的准确性和稳定性较好，能够有效降低车标识别的错误率，同时也避免了需要消耗大量的时间进行人工特征提取的工作，使得在线检测运算效率大大提升。但是对于一些存在复杂文字干扰图像也容易出现误检测，在车辆图像偏斜角度比较大以及夜晚光照较弱时，依然会出现一些漏检测、误检测。目前现有技术的主要缺点：

1.目标检测方法具有处理多种目标尺度的需求，所以通常比较耗时；

2.常规的检测方法通常采用滑动窗口结合目标分类器方法进行目标检测，由于分类器判断总会出现判断失误的情况，所以在车牌检测中使用常规检测方法检测车牌容易遗漏真车牌，也容易造成大量误检。

发明内容

本发明的目的是提供一种基于热力图和关键点回归的深度车牌检测方法，利用离线训练的深度网络表征目标，达到快速、稳定的对目标物进行车牌检测的目的。

本发明为解决其技术问题所采用的技术方案是：

一种基于热力图和关键点回归的深度车牌检测方法，包括离线学习阶段和检测阶段；

离线学习阶段包括以下四个步骤：

(1)设计网络深度：设计深度学习网络结构，将输入图像调整统一，对图像进行第一层卷积和激活函数操作，再进行第二层卷积、激活函数和池化操作，然后进行第三层卷积、激活函数和池化操作，然后形成多任务分支，一个分支通过一个卷积层学习车牌坐标，另一个分支通过另一个卷积层学习车牌热力图；

(2)准备训练样本集：获取一批车头或车尾图像作为离线学习的样本集，样本总类数越多，训练效果越好，并对样本大小统一化；

(3)进行样本标注：本方法需要进行两种信息的标注，一种是车牌原图中的车牌坐标，另一种是车牌热力图，车牌位置坐标采用人工标注获取，包括车牌左上角坐标以及车牌宽和高，这些值都需要进行归一化至(0,1)，从而得到归一化车牌位置坐标，由4个值表示(x,y,w,h)，车牌图像热力图根据车牌坐标自动生成，热力图大小为26×26，新建一个26×26的标注矩阵，初始化为0，在(26x,26y,26w,26h)区域表示车牌位置标注为1，输入图像涵盖车牌各种位置及车牌种类，使训练的网络能适应复杂情况；

(4)进行训练：使用步骤(1)中描述的网络结构对步骤(3)中得到的训练样本集进行多任务训练；

检测阶段包括以下四个步骤：