[发明专利]一种基于MSAFF-Yolov3的车牌校正检测识别方法

说明书

本发明公开了一种基于MSAFF‑Yolov3的车牌校正检测识别方法。属于深度学习和车牌识别领域，具体步骤：采集图像，将图像输入到设计的自适应多尺度融合的MSAFF‑Yolov3网络；将输入的车牌区域进行检测，检测其是否出现扭曲的情况；引入一个含有LSTM的BRNN网络，对特征序列中的每个特征执行BLSTM处理，将整个特征序列转换成一个数组；将CTC布置在BRNN的输出层，将预测概率数组解码成输出标签值，将数组转换成字符串。本发明通过在特征提取中使用MSAFF‑Yolov3网络以及校正网络同时在字符识别中引入长短时记忆网络，有效的检测识别复杂车牌，具有收敛快、识别迅速、准确率高的优点。

技术领域

本发明涉及深度学习和车牌识别领域，具体涉及一种基于MSAFF-Yolov3的车牌校正检测识别方法。

背景技术

随着机器学习的不断发展，针对各种数据的不同网络结构被相继构造成深度结构来解决各种各样的实际问题，例如，卷积神经网络(Convolutional Neural Network，CNN)利用卷积结构模拟视觉神经中的感受区域，非常适合用来解决各种图像处理问题；循环神经网络(Recurrent Neural Network，RNN)加入了反馈连接，因此对时间序列数据具有很好的处理能力。耦合深度卷积网络(Coupled Deep Convolutional Network，CDCN)是无监督变化检测模型，不需要其他的先验信息，通过优化目标函数对网络参数进行训练，得到不同图像的对比信息。

一些与交通有关的应用，如检测失窃车辆、收费控制和停车场进出验证，都涉及车牌识别，受不同光照条件、可视角度、新旧程度及背景光亮等条件影响，不同场景中对于车牌的识别具有相对难度，因为对于非车牌区域的文字提出，车牌区域的正确切割、字符的孤立与识别等都是需要提升的技术空间，其中任何一项的断层都会对整个车牌的识别过程造成困难。

并行处理和深度学习(DL)的最新进展有助于改善计算机视觉任务，如物体检测/识别和光学字符识别(OCR)，这对于车牌识别系统的实现具有积极帮助。实际上，深度卷积神经网络(CNNs)已经成为应用于车牌检测的领先深度学习技术。

一般来说，车牌检测可以分为三个步骤：牌照定位、牌照字符分割、牌照字符识别。牌照定位自然环境下，汽车图像背景复杂、光照不均匀，如何在自然背景中准确地确定牌照区域是整个识别过程的关键。首先对采集到的视频图像进行大范围相关搜索，找到符合汽车牌照特征的若干区域作为候选区，然后对这些侯选区域做进一步分析、评判，最后选定一个最佳的区域作为牌照区域，并将其从图像中分离出来。牌照字符分割完成牌照区域的定位后，再将牌照区域分割成单个字符，然后进行识别。字符分割一般采用垂直投影法。由于字符在垂直方向上的投影必然在字符间或字符内的间隙处取得局部最小值的附近，并且这个位置应满足牌照的字符书写格式、字符、尺寸限制和一些其他条件。利用垂直投影法对复杂环境下的汽车图像中的字符分割有较好的效果。牌照字符识别方法主要有基于模板匹配算法和基于人工神经网络算法。基于模板匹配算法首先将分割后的字符二值化并将其尺寸大小缩放为字符数据库中模板的大小，然后与所有的模板进行匹配，选择最佳匹配作为结果。基于人工神经网络的算法有两种：一种是先对字符进行特征提取，然后用所获得特征来训练神经网络分配器；另一种方法是直接把图像输入网络，由网络自动实现特征提取直至识别出结果。但是在多变的角度和场景(光线)下车牌往往是倾斜的，导致识别的效果并不如意。因此，如何设计一个识别算法和校正倾斜角度的车牌网络使得整体系统识别率和准确率得到提高是很有必要的。

发明内容

针对上述问题，本发明提供了一种基于MSAFF-Yolov3的车牌校正检测识别方法，其专注于无约束的场景，其中车牌图像可能由于倾斜视角而存在严重的失真。本专利的主要贡献是引入了一种新颖的自适应多尺度融合的Yolov3网络(MSAFF-Yolov3)，该网络能够更加准确快速提取车牌特征图，使得整个系统更加快速高效。检测出车牌后又将扭曲的车牌送入校正网络COD-NET将扭曲车牌校正为正常车牌大大提高了识别的准确率，这些校正过的车牌可以通过光学字符识别(OCR)方法以获得最终结果。