[发明专利]一种通用型车牌文本识别方法

说明书

本发明公开了一种通用型车牌文本识别方法，首先将车牌图片传入训练完成的基于四边形检测框的车牌字符检测网络，得到相应车牌中的字符检测框；接着再将字符检测框依次输入至训练完成的车牌字符识别网络，得到框内的字符信息；然后对得到的车牌文本进行语义恢复，即基于空间坐标的字符铰接与重排算法，得到完整正序的车牌文本内容；最后通过字典过滤算法，删除非车牌规范的文本内容，得到准确的车牌信息。

技术领域

本发明属于车牌文本识别技术领域，更为具体地讲，涉及一种通用型车牌文本识别方法。

背景技术

在计算机视觉中的车牌文本识别领域，目前多使用自然场景文本识别(STR)，其通过对图片中的文本进行检测，再将检出文本进行识别，二者串联起来即为完整的STR任务。相比目前应用成熟的光学字符文本识别仅对于文档文本检测识别，自然场景文本识别模型具有复杂光照、遮挡、立体、多视角、字体等优化，即具备对真实场景的处理能力。

Wenhao He等人对现有的目标检测网络进行了定义，将现有目标检测网络分为间接回归和直接回归两种类型。间接回归目标检测模型为大多数基于CNN的目标检测模型像RCNN系列、SSD、Multi-Box等，模型的回归任务通过预测proposal和groundtruth的偏置完成。直接回归检测模型跳过proposal部分，直接对某点输出对目标坐标或形状的预测，可以以相对该点的偏置形式输出。其提出的检测框生成方案区别于基于anchor的回归方法，而是将测框定义为四个顶点相对中心点的偏移。Minghui Liao等人首先设计了两种boundingbox的表达方式，分别是四边形和旋转矩形，然后对SSD目标检测模型做了一些修改，如更换卷积核尺寸、默认bounding box长宽比、困难样本挖掘中正负样本比例等，最后将CRNN作为文本识别模型，与SSD联合组成了端对端的文本识别模型。

但针对车牌文本检测识别场景，其具备不规则、不连续、语义强关联的特点。车牌文本字体形状、大小、颜色、排列等不规则，尤其对于复合双层车牌还应考虑上下位置，传统识别方法只能基于不同车牌类型进行单点调整，没有统一通用的识别模型。同时，车牌文本的语义信息极为关键，传统识别方法对于不同类型的车牌不能准确得到其文本内容，且车牌字符中存在的易错字符，即缺失车牌文本语义恢复与错误滤除，这也将影响最终识别结果。

发明内容

本发明的目的在于克服现有技术的不足，提供一种通用型车牌文本识别方法，适用包括单层、多层等在内的各种类型车牌，通用性较强，同时对存在角度倾斜的车牌图片也有较高的检测识别精度。

为实现上述发明目的，本发明一种通用型车牌文本识别方法，其特征在于，包括以下步骤：

(1)、车牌图片预处理；

车牌图片预处理：将原始车牌图片的四个边按比例扩张，保证原始车牌完整性；

(2)、搭建车牌文本识别网络；

(2.1)、搭建车牌字符检测网络；

保留VGG16网络的前五个卷积层conv1-conv5，将六、七两个全连接层转换为卷积层conv6、conv7，接着再添加4个卷积层，每个卷积层进行两次卷积操作，构成conv8-conv11；然后分别输出conv4的第三次卷积结果、conv7的卷积结果以及conv8到conv11的第二次卷积结果构成6个不同尺度的特征层；最后对各个特征层得到的检测框做非极大抑制(NMS)处理，获取最终字符检测框；

(2.2)、搭建车牌字符识别网络；

搭建两层全卷积神经网络的串联结构，上层为前景背景二分类CNN网络，具体包括：卷积层B1、全连接层C1和输出层O1；下层为前景字符多分类CNN网络，具体包括：卷积层B2、全连接层C2和输出层O2；