[发明专利]一种实时交通场景的多车牌动态识别方法

权利要求书

1.一种实时交通场景的多车牌动态识别方法，其特征在于运用多种卷积神经网络对车牌进行整体识别，包括以下步骤：

S1、建立卷积神经网络，其包括车牌定位网络和车牌识别；

S2、图像预处理：将采集到的图像调整为224*224分辨率；

S3、定位网络训练：将S2中处理过的图像输入到车牌定位网络中进行特征学习；

S4、图像后处理：把S3中定位后的车牌图像拉伸到224*224分辨率；

S5、识别网络训练：将S4中处理过的车牌图像输入到车牌识别网络中进行学习；

S6、神经网络测试：将测试图片输入到车牌定位网络和车牌识别网络中进行整体测试。

2.根据权利要求1所述的一种实时交通场景的多车牌动态识别方法，其特征在于，所述S3中将图像输入车牌定位网络的特征学习包括以下步骤：

S31、所述车牌定位网络具有16个卷积层、4个池化层、2个全连接层，层与层之间采用线性激活函数，其最后一层全连接层采用修正的线性激活函数，卷积层用于提取目标特征，全连接层用于预测坐标和类别概率；

S32、将输入图像划分成S*S个格子，进行遍历，当检测目标中心出现在格子中时，该格检测该目标并给出该目标在此格中表示该格子拥有目标的信心值的置信值，置信值范围为0～1，置信值定义为：其中IOU为表示bounding box与实际目标框交集与并集的比值的交并比函数，将检测出的目标区域定义为bounding box，每个格子预测出B个bounding box，bounding box预测五个值：x、y、h、w、confidence；

S33、S32中划分的每个格子预测一个记为C类的类别信息，预测C种假定类别的条件概率为Pr(Class_i|Object)；

S34、计算张量，张量计算公式为：S*S(B*5+C)；

S35、通过将S32和S33得到的类别概率与置信值相乘，得到该类别的置信分数，用于表示该类别在bounding box中出现的概率，该公式如下：

其中，等式左边第一项代表每个网格预测的类别信息；

S36、计算坐标预测损失函数，该公式如下：

其中，λ_coord代表边界框预测权重，λ_noobj代表不包含目标边界框的置信度预测权重，其中表示目标是否出现在网格单元i中，表示网格单元i中的第j个边界框预测器负责预测；

含有目标的bounding box置信值预测损失函数计算为：

不包含目标的bounding box置信值预测损失函数计算为：

类别预测损失函数计算为：

S37、设定识别阈值作为标准，将得到每个bounding box的特定类别的置信分数与给定阈值比较，滤掉得分较低的bounding box，对保留的bounding box进行非极大值抑制处理，得到最终的检测结果。

3.根据权利要求2所述的一种实时交通场景的多车牌动态识别方法，其特征在于，所述车牌定位网络具有16个卷积层，2个全连接层，用以实现基于图像全图信息端到端的输出，其网络结构依次为：卷积层conv1、池化层max pool、卷积层conv2、池化层max pool、卷积层conv3、卷积层conv4、卷积层conv5、卷积层conv6、池化层max pool、卷积层conv7、卷积层conv8、卷积层conv9、卷积层conv10、池化层max pool、卷积层conv11、卷积层conv12、卷积层conv13、卷积层conv14、卷积层conv15、卷积层conv16、全连接层FC1和全连接层FC2。

4.根据权利要求1所述的一种实时交通场景的多车牌动态识别方法，其特征在于，所述车牌识别网络还包括字符识别网络算法，其包含5个卷积层，3个全连接层，其网络结构依次为：卷积层conv1、池化层max pool、卷积层conv2、池化层max pool、卷积层conv3、卷积层conv4、卷积层conv5、池化层max pool、全连接层FC1、全连接层FC2和全连接层FC3，其中，全连接层FC3维度分为7部分，用于后续softmax分类字符。

5.根据权利要求4所述的一种实时交通场景的多车牌动态识别方法，其特征在于，所述字符识别网络结构的全连接层FC3维度分为7个部分包括：采用可输出7个label的7个softmax分类器分别对字符进行分类，每个softmax分类器负责输出车牌对应位置的字符，每个分类器输出字符的概率为：

且每个softmax分类器的输出字符概率相加为1，即：