[发明专利]一种利用单个字符矫正的车牌识别方法

权利要求书

1.一种利用单个字符矫正的车牌识别方法，其特征在于，具体包括如下步骤：

（1）数据集构建：收集侧方位视频桩采集的含有倾斜、畸变车牌的图像，构建数量车牌数据集，并对数据集中的车牌图像进行车牌位置和字符位置的标注，再将划分为训练集、验证集和测试集；

（2）深度卷积特征提取：先对图片的尺寸和数值范围进行初始化处理，然后将处理后的图像输入到卷积神经网络Resnet50中进行卷积特征提取；

（3）设计空间和通道分组修正模块：将分组卷积融合到修正模块得到空间和通道分组修正模块，将步骤（2）提取的特征图输入空间和通道分组修正模块中得到精细化特征；

（4）车牌图像分割：将步骤（3）得到的精细化特征输入到自带分类功能的车牌分割网络进行分割得到车牌分割结果和车牌类别，

（5）提取车牌中每个字符信息：利用步骤（4）得到的分割结果以及车牌类别，采用两层的全连接网络用于提取每个字符的四个顶点和中心点信息，以相邻两个中心点距离作为初始的字符的宽度，车牌区域的高度作为初始字符的高度，在字符外框选一个矩形，矩形的顶点作为每个字符四个顶点的初始点，再将顶点进行优化回归训练后得到的四个顶点为每个字符的外框四边形；

（6）对每个车牌字符进行修正，利用分类网络进行字符识别：利用步骤（5）得到的每个外框顶点，与预设尺寸的车牌字符坐标进行仿射变换得到每个字符矫正后的图片，将字符的外框四边形矫正成矩形，从而每个字符图像得到矫正，矫正后利用Resnet18分类网络就可以对字符进行识别得到识别结果。

2.根据权利要求1所述利用单个字符矫正的车牌识别方法，其特征在于，步骤（1）中标注车牌位置是对车牌四个顶点进行标注，四个顶点内的区域为车牌的分割区域，用于训练车牌分割网络，标注字符位置是标注每个字符的四个顶点，用于训练网络回归每个字符外框的顶点。

3.根据权利要求2所述利用单个字符矫正的车牌识别方法，其特征在于，步骤（4）所述自带分类功能的车牌分割网络选用Mask RCNN网络，得到的车牌类别为新能源车牌、一般车牌或双层车牌。

4.根据权利要求3所述利用单个字符矫正的车牌识别方法，其特征在于，步骤（5）中提取中心点时包括三种情况：

对新能源车牌，从车牌分割结果中线上按照新能源车牌的字符间隔规则提取八个点作为八个字符的初始中心点；

对于一般车牌，从车牌分割结果中线上按照一般车牌的字符间隔规则平均提取七个点作为七个字符的初始中心点；

对于双层车牌，先将车牌分割结果分上下两行，按照双层车牌的字符间隔规则，上行取相应两个位置作为字符的中心点位置，下行平均提取中间五个点作为五个字符的初始中心点。

5.根据权利要求4所述利用单个字符矫正的车牌识别方法，其特征在于，步骤（5）在顶点回归训练时，采用Smooth L1损失来计算预测车牌字符外框顶点位置与真实车牌字符外框顶点位置的误差，通过反向传播更新参数，经过设定次数100次完整训练集训练迭代后，保存验证集上结果最好的模型参数，作为最终模型训练好的参数，即得到训练好的网络参数。

6.根据权利要求5所述利用单个字符矫正的车牌识别方法，其特征在于，步骤（6）的识别结果根据车牌类别确定，如果是双层车，则从上到下，从左往右依次输出结果作为双层车牌的识别结果；如果是新能源车或一般车辆，从左往右连起来为识别出的车牌号。