[发明专利]一种自然场景下的车牌识别方法和装置

说明书

一种自然场景下的车牌识别方法和装置，预先构建改进的Retinanet网络，并进行训练，得到车牌检测模型，以及预先对CRNN模型进行训练得到训练好的CRNN模型；识别方法包括如下步骤：S1将车牌图片输入车牌检测模型进行检测，得到车牌的角点；S2根据车牌的角点，结合opencv的透视变换对车牌区域进行矫正得到矫正好的图片；S3将矫正好的图片输入训练好的CRNN模型中进行预测，得到最终的识别结果。本发明使用mobilinetV2代替retinanet中的resnet50，在几乎不损失网络精度的情况下，降低了参数量和计算量，从而提高了车牌的检测速度。

技术领域

本发明涉及车牌检测领域，特别是指一种自然场景下的车牌识别方法和装置。

背景技术

车牌识别在人们日常生活中经常见到，目前已成为智慧交通的重要组成部分。近年来车牌识别技术虽然发展迅速，但是受限于车辆的使用环境(光线较强或者较弱、车牌污染、雨雪大雾天气等)使得车牌识别的各个环节中始终存在一些问题，导致识别精度有限。传统的车牌检测方法通常是人工提取特征，如车牌的颜色，纹理和边缘，然而这种方法往往在自然场景下检测精度低。

随着深度学习的发展，越来越多的人开始使用深度学习进行车牌检测。相比于传统方法，基于深度学习目标检测的方法能提升车牌检测的精度，而且模型泛化性能比较好，能够用在通用的自然场景下。

目前比较流行的深度学习检测算法包括单阶段检测YOLOv3,SSD和双阶段FasterRCNN，他们都是基于anchor的方式对anchor的中心点和宽高进行回归，在自然场景下，车牌往往存在倾斜的情况，而这些anchor都是矩形的形状，这使得单纯使用矩形去定位车牌再送入到识别模型中往往会包含较多无用的图像噪声。

发明内容

本发明的主要目的在于克服现有技术中车牌识别的缺陷，提出一种自然场景下的车牌识别方法和装置，使用mobilenetV2作为主干特征提取网络减少了原retinanet模型的参数量，以及利用opencv中的仿射变换函数将车牌矫正，最后通过CRNN模型对车牌进行识别，大幅度提升了自然场景下车牌识别的识别精度。

本发明采用如下技术方案：

一种自然场景下的车牌识别方法，其特征在于，预先构建改进的Retinanet网络，并进行训练，得到车牌检测模型，以及预先对CRNN模型进行训练得到训练好的CRNN模型；识别方法包括如下步骤：

S1将车牌图片输入车牌检测模型进行检测，得到车牌的角点；

S2根据车牌的角点，结合opencv的透视变换对车牌区域进行矫正得到矫正好的图片；

S3将矫正好的图片输入训练好的CRNN模型中进行预测，得到最终的识别结果。

收集来自不同的场景的车牌图片作为训练数据集，并对训练数据集的车牌进行标注，将数据集按照8：1：1划分成训练集，验证集和测试集，通过训练集训练改进的Retinanet网络和CRNN模型，再通过验证集和测试集分别进行验证和测试得到车牌检测模型和训练好的CRNN模型。

在车牌图片中随机裁剪获得负样本，以降低训练的误检率。

所述改进的Retinanet网络采用mobinetV2作为主干特征提取网络，构建特征金字塔网络，利用mobilenetV2网络对车牌图片进行下采样8，16，32倍，从而提取到3种感受野的特征图C3，C4，C5，分别将3种不同尺度的特征图输入Retinanet网络的FPN部分，进行上采样和特征融合后分别得到不同尺寸和感受野的P3，P4，P5层，在P3，P4，P5层的每一个head层增加一个车牌的角点分支。

角点分支包含一个输出通道数为8的3*3卷积和一个sigmod层。

对改进的retinanet的网络进行训练包括如下：