[发明专利]基于单阶段目标检测和deeptext识别网络的美式车牌识别方法

权利要求书

1.一种基于单阶段目标检测和deeptext识别网络的美式车牌识别方法，其特征在于：包括以下步骤：

步骤S1：获取美式车牌数据集，预处理后生成训练集；

步骤S2：根据车牌检测特点修改目标检测网络CornerNet-Squeeze；

步骤S3：使用训练集训练步骤S2改进的CornerNet-Squeeze,获得训练好的检测网络，使用数据集MJSynth和SynthText训练deeptext识别网络，获得训练好的识别网络；

步骤S4：将训练集送入步骤S3训练好的检测网络，输出车牌号码、年检信息、州名三部分图像，将这三部分图像送入训练好的识别网络，识别网络输出的文本信息通过手工修改错误信息，得到识别标签；

步骤S5：使用S4中获得的识别标签对识别网络进行进一步训练,获得高精度的识别网络；

步骤S6：使用步骤S5训练好的高精度识别网络对待检测的美式车牌图像检测，输出结果；

所述步骤S2具体包括以下步骤：

步骤S21：使用ResNet作为CornerNet的主干网，ResNet进行三次下采样后得到特征图，用三个上采样层扩展ResNet,并在每个上采样层之前添加一个3×3可变形卷积层；使用可变形卷积更改通道，然后使用转置卷积对特征图进行上采样，将三次上采样的输出通道数分别设为256,128,64；

步骤S22：将在三次上采样之后的结果输入两个分支模块，两个分支模块分别为左上角点预测分支和右下角点预测分支，每个分支包含hm、embedding、reg三个网络层输出三个预测值，分别是热力图、嵌入向量和偏置值，所有输出共享一个主干网；

所述步骤S3具体包括以下步骤：

步骤S31：根据训练集，训练改进的CornerNet-Squeeze，设输入图像为IN，W和H分别为输入图像IN的宽和高，IN∈R^W×H×3，R为实数；输入图片IN通过改进的CornerNet-Squeeze，由主干网ResNet提取特征获得特征图，特征图通过两个分支模块输出预测值，每个分支模块输出三个值：热力图、嵌入向量和偏置值；热力图输出预测角点信息，维度为(W,H,C)，其中C表示目标的类别不包括背景类，这个特征图的每个通道的值表示该点是角点的分数；热力图用P表示,且P∈[0,1]^W×H×C，P_(i,j,c)表示热力图在位置(i,j)类别c的预测值，Y_(i,j,c)表示对应位置的真实值；用L_det表示角点预测的损失函数，计算公式如下：

其中,N是输入图像中出现的目标的数量,α和β是两个超参数，训练时分别设为2和4；

步骤S32：设L_pull和L_push是左上角点和右下角点匹配的损失函数，计算公式如下：

式子中，k表示N个目标中第k个目标，d表示N个目标中与k不同的目标,t表示左上角点，b表示右下角点，是第k个目标的左上角点的嵌入向量，是第k个目标的右下角点的嵌入向量，avg_k表示第k个目标左上角点的嵌入向量和右下角点嵌入向量的均值，avg_d表示第d个目标左上角点的嵌入向量和右下角点嵌入向量的均值，训练时设Δ为1；

步骤S33：L_off为偏置值损失函数是为了减小在取整计算时丢失的精度信息，计算公式如下：

式子中，(x_k,y_k)表示第k个目标角点的原图坐标值，o_k示第k个目标特征图缩放回原图大小后与原真实框的精度损失，第k个目标偏置预测值；

步骤S34：最终的损失函数L_{CornerNet-Squeeze}如下：

L_{CornerNet-Squeeze}＝L_det+0.1*L_pull+0.1*L_push+L_off

训练CornerNet-Squeeze，使用动量为0.9的随机梯度下降优化方法，初始学习率设置为1.25e^-4，每过5轮将学习率乘以0.9998，得到训练好的CornerNet-Squeeze；

步骤S35：使用数据集MJSynth和SynthText训练deeptext识别网络，训练过程使用CTCloss，最终获得高精度的deeptext识别网络。