[发明专利]车牌号码识别方法及装置

权利要求书

1.一种车牌号码识别方法，其特征在于，所述方法包括：

利用训练好的车牌检测器对执法仪视频中的图像进行车牌域识别；

将识别出的车牌域先拉东变换粗矫正、再输入至车牌关键点特征模型进行车牌关键点特征标注，得到包含标注有车牌关键点特征的车牌；

依次利用仿射变换和投影精准矫正方式分别对所述车牌进行二次精确矫正；

利用训练好的端到端的车牌字符识别模型及与车牌类型匹配模板，对所述二次精确矫正后的车牌进行车牌号码修正识别，所述端到端的车牌字符识别模型所使用的标签对应于车牌号码的字符类别数。

2.根据权利要求1所述的方法，其特征在于，在所述输入至车牌关键点特征模型进行车牌关键点特征标注之前，所述方法还包括：

对标注的所述车牌关键点的坐标进行随机外扩，得到具备所述外扩后的车牌关键点坐标的车牌域。

3.根据权利要求1所述的方法，其特征在于，在所述利用训练好的端到端的车牌字符识别模型及与车牌类型匹配模板，对所述二次精确矫正后的车牌进行车牌号码修正识别之前，所述方法还包括：

获取各类标签的字符识别框的样本集，每个字符识别框中的字符均进行过字符预标注，所述样本集中包含困难样本；

利用所述样本集训练所述端到端的车牌字符识别模型，所述车牌字符识别模型的卷积神经网络中添加有CBAM特征注意力模块，所述困难样本用于对所述注意力模块进行在线调整；

在所述车牌字符识别模型的字符正确识别率达到预定识别率时，停止训练。

4.根据权利要求3所述的方法，其特征在于，所述获取各类标签的字符识别框的样本集，包括：

识别样本车牌图像中车牌的车牌类型，获取与所述车牌类型对应的车牌模板；

获取所述车牌图像中待识别车牌所包含的每个字符各自所在的字符识别框；

根据所述车牌模板，添加漏生成的字符识别框以及删除误生成的字符识别框，得到字符识别框集合；

对所述字符识别框集合中的每个字符识别框进行字符预标注，得到所述样本集。

5.根据权利要求4所述的方法，其特征在于，所述添加漏生成的字符识别框，包括：

根据所述待识别车牌的宽高比，确定漏生成的字符识别框的尺寸，添加具备所述尺寸的漏生成的字符识别框。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

从视频帧中抽帧获取包含车辆特征的车辆图像；

从具备完整车牌的车辆图像中筛选出同一辆车的具备不同倾斜角度车牌的车牌图像；

从筛选出的车牌图像中随机选取预定数量的车牌图像作为车牌图像数据集，并在训练过程中以随机复制、旋转及加噪的方式加大困难样本在所述车牌图像数据集中的占比；

所述车牌图像数据集中的每张车牌图像均被进行了车牌关键点特征的预标注；

利用所述车牌图像数据集对所述车牌检测器进行训练，所述车牌检测器用于识别出包含有车牌的图像，所述车牌检测器的网络模型中添加有CBAM卷积注意力；

当所述车牌检测器检测出车牌图像的验证准确率达到预定阈值时，停止训练；

将训练完成的所述车牌检测器的网络模型迁入到一个保留主SSD架构，复杂度更低的网络模型中，得到所述训练好的车牌检测器。

7.一种车牌号码识别装置，其特征在于，所述装置包括：

车牌识别模块，被配置为利用训练好的车牌检测器对执法仪视频中的图像进行车牌域识别；

粗矫正模块，被配置为将所述车牌识别模块识别出的车牌域先拉东变换粗矫正；

关键点标注模块，被配置为将所述粗矫正模块粗矫正后的车牌域输入至车牌关键点特征模型进行车牌关键点特征标注，得到包含标注有车牌关键点特征的车牌；

二次矫正模块，被配置为依次利用仿射变换和投影精准矫正方式分别对所述车牌进行二次精确矫正；

号码识别模块，被配置为利用端到端的车牌字符识别模型及与车牌类型匹配模板，对所述二次矫正模块矫正后的车牌进行车牌号码修正识别，所述端到端的车牌字符识别模型所使用的标签对应于车牌号码的字符类别数。