[发明专利]一种基于深度学习的端到端车牌识别系统及其方法

说明书

本发明公开了一种基于深度学习的端到端车牌识别系统及其方法，主要涉及图像定位和图像识别模块，在原有基于卷积神经网络的检测模型上扩展多尺度检测的深度，提升车牌对于小物体的定位精度；另外，本文还利用双向门控循环单元与基于神经网络的时序类分类算法优化识别网络，完成对已定位车牌的无字符分割的识别任务，简化系统识别流程，提升了网络的收敛速度和识别准确率，同时对训练图片进行随机变化，以提高模型训练的有效性。相比于传统的车牌识别方法，本发明中提及的方法提高了复杂场景下的车牌识别速度和准确率，且鲁棒性较好。

技术领域

本发明涉及一种车牌识别系统，具体的说是一种端到端车牌识别系统及其方法，属于图像识别技术领域。

背景技术

车牌识别LPR(License Plate Recognition)在许多实际应用中发挥着重要作用，如自动收费，交通执法，停车场访问控制和道路交通监控等。它具有从安全性到交通控制的各种潜在应用，近年来，车牌识别技术受到了广泛的关注和研究。

商业化方案中，几个老牌的车牌识别公司都具有较好的商业化版本，应用也较为广泛，包括北京文通科技，北京易泊时代等，文通的技术源于清华的技术团队，研究早，商业化也比较完善，在车牌识别方案上应用广泛。成都的火眼臻视公司，做停车场卡口车牌识别，包括卡口相机，配套软件等，在停车场具有较高的市场占有率。北京精英智通科技主要针对智能泊车收费，其中车牌识别方案也具有较好的识别。目前市场上的车牌识别产品，大多采用检测，分割和识别联合的方案，这种方案依赖于分割的效果，对于图像模糊粘连处理有一定难度。

虽然车牌识别技术已得到很大发展，但是仍然存在难点。这些难点集中体现在以下几个方面：(1)由于光照、大雾、沙尘暴等天气影响，导致采集到的图像质较低，字符受到噪声干扰，造成部分目标图像被背景图像掩盖，降低车牌字符识别的准确率。(2)我国车牌的特殊性。(a)我国车牌的字符包括中文、数字和英文字母。由于中文字符的笔画较为复杂，在对中文字符进行二值化处理后，容易造成笔画模糊，从而导致错误的识别。同时在对车牌字符识别时，需要对英文字母和数字进行混合识别，受部分英文字母和数字字符相似的影响，会造成英文字母和数字的误识。(b)我国车牌识别颜色的多样性，比如蓝色白底、黄底黑字、黑底白字等，在利用车牌颜色的特征时需要考虑多种情况，增加了额外的工作量。

因此本发明利用改进的多尺度检测模块提升检测速度和精度，再利用双向门控循环单元与基于神经网络的时序类分类算法优化识别网络，加快网络的收敛速度，提升模型识别准确率。

发明内容

本发明的目的是提供一种基于深度学习的端到端车牌识别系统及其方法，以改进YOLOv3为检测网络，BGRU+CTC为识别网络构建整体的识别系统模型，通过检测网络获取目标车牌的Anchor Box，将该Anchor Box的相关坐标参数，及目标区域的内容以矩阵的形式传至识别网络，利用已经训练好的识别模型对目标区域的车牌内容进行文本识别，最终输出车牌定位的准确率，Anchor Box 角点坐标，车牌识别准确率，系统识别时间等信息

本发明的目的是这样实现的：一种基于深度学习的端到端车牌识别系统，包括车牌定位模块，车牌识别模块；

所述的车牌定位模块，位于系统的数据入口，利用YOLOv3对原始含有车辆的图像进行初步的多尺度检测，获取目标车牌的Anchor Box和相应的坐标参数，再将目标区域的内容以矩阵的形式传至识别网络；

所述的车牌识别模块，在对输入数据进行统一标准的格式化后，以检测网络返回的相关数据为基础，利用BGRU+CTC的联合方案对获取的目标车牌中的文本信息进行识别，最终输出车牌定位的准确率，Anchor Box角点坐标，车牌识别准确率，目标图像大小，系统识别时间等信息。

一种基于深度学习的端到端车牌识别方法，包括车牌定位和车牌识别两部分；

所述车牌定位包括以下步骤：