[发明专利]一种利用单个字符矫正的车牌识别方法

说明书

本发明属于车牌识别技术领域，涉及一种利用单个字符矫正的车牌识别方法，先使用卷积神经网络提取特征，再利用空间和通道分组修正模块来进一步提取车牌区域的信息，将车牌区域分割出来后在分割区域内选取对应区域的字符中心点和初始外框，然后利用两层全连接网络把提取的初始外框的四个顶点回归到真实顶点坐标，根据得到的每个字符的顶点，与预设尺寸的车牌字符坐标进行仿射变换得到每个字符矫正后的图片，最后利用分类网络实现每个字符的分类，从左往右依次输出字符的识别结果完成整个车牌的识别，不仅能用于侧方位车牌识别，还能用于高位和低位摄像头采集图像的车牌识别问题，在CCPD车牌识别旋转数据集中，识别精度高达97.8%。

技术领域

本发明属于车牌识别技术领域，涉及一种利用单个字符矫正的车牌识别方法。

背景技术

随着人工智能、物联网、5G等技术的迅速发展，智慧交通在智慧城市中发挥了重要作用，而侧方位任意角度车牌识别技术在智慧交通体系中扮演了重要角色，正向的车牌检测与识别技术已经比较成熟，而侧方位的车牌检测技术由于受到车牌畸变、旋转以及光线不足等复杂场景的时候表现的较差，现有的侧方位的车牌识别技术大部分是先利用检测的方法检测到整个车牌，然后对车牌区域进行校正，对校正后的车牌图像进一步采用图像检测的方法来进行检测，相当于整个过程采用多次的物体检测技术，造成检测时间较长，另外检测精度也不能够保证。

由此可见，针对侧方位停车场景，现有的车牌识别技术中存在识别精度不高的技术问题，急需更有效的方法来提升车牌识别的精度。

发明内容

为了克服现有的侧方位车牌识别技术的不足，提升侧方位车牌识别的精度，本发明提供一种利用单个字符矫正的车牌识别方法，能够高效的实现车牌识别。

为实现上述目的，本发明具体包括如下步骤：

（1）数据集构建：收集侧方位视频桩采集的含有倾斜、畸变车牌的图像，构建数量车牌数据集，并对数据集中的车牌图像进行车牌位置和字符位置的标注，再将划分为训练集、验证集和测试集；

（2）深度卷积特征提取：先对图片的尺寸和数值范围进行初始化处理，然后将处理后的图像输入到卷积神经网络Resnet50中进行卷积特征提取；

（3）设计空间和通道分组修正模块：将分组卷积融合到修正模块得到空间和通道分组修正模块，将步骤（2）提取的特征图输入空间和通道分组修正模块中得到精细化特征；

（4）车牌图像分割：将步骤（3）得到的精细化特征输入到自带分类功能的车牌分割网络进行分割得到车牌分割结果和车牌类别，

（5）提取车牌中每个字符信息：利用步骤（4）得到的分割结果以及车牌类别，采用两层的全连接网络用于提取每个字符的四个顶点和中心点信息，以相邻两个中心点距离作为初始的字符的宽度，车牌区域的高度作为初始字符的高度，在字符外框选一个矩形，矩形的顶点作为每个字符四个顶点的初始点，再将顶点进行优化回归训练后得到的四个顶点为每个字符的外框四边形；

（6）对每个车牌字符进行修正，利用分类网络进行字符识别：利用步骤（5）得到的每个外框顶点，与预设尺寸的车牌字符坐标进行仿射变换得到每个字符矫正后的图片，将字符的外框四边形矫正成矩形，从而每个字符图像得到矫正，矫正后利用Resnet18分类网络就可以对字符进行识别得到识别结果。

作为本发明进一步的技术方案，步骤（1）中标注车牌位置是对车牌四个顶点进行标注，四个顶点内的区域为车牌的分割区域，用于训练车牌分割网络，标注字符位置是标注每个字符的四个顶点，用于训练网络回归每个字符外框的顶点。

作为本发明进一步的技术方案，步骤（4）所述自带分类功能的车牌分割网络选用Mask RCNN网络，得到的车牌类别为新能源车牌、一般车牌或双层车牌。

作为本发明进一步的技术方案，步骤（5）中提取中心点时包括三种情况：

对新能源车牌，从车牌分割结果中线上按照新能源车牌的字符间隔规则提取八个点作为八个字符的初始中心点；