[发明专利]基于单字符注意力的多类型车牌识别方法及系统

说明书

一种基于单字符注意力的多类型车牌识别方法及系统，首先使用多尺度特征提取骨干网络对车牌图像进行多种尺度特征提取和融合，然后对得到的全局特征进行基于单字符注意力的下、上采样得到多通道的掩码图像，再基于掩码图像对全局特征进行单字符特征软分割获得独立的单字符特征向量，最后通过单字符分类器对多个单字符特征向量进行单字符预测分类并将分类结果按次序拼接成字符串并输出。本发明采用在全局特征空间进行单字符软分割后再独立识别单字符的策略，实现多种类型车牌的同时识别，不需要提前进行额外的车牌分类调用不同识别算法。

技术领域

本发明涉及的是一种图像处理领域的技术，具体是一种基于单字符注意力的多类型车牌识别方法及系统。

背景技术

当前车牌识别技术已经被广泛运用在交通监控和门禁控制当中。深度学习和模式识别技术的发展，越来越多的深度学习的技术应用在车牌识别技术上。目前的车牌识别技术主要是针对水平的规则的车牌图像进行识别。但是在复杂场景，例如倾斜的车牌识别仍旧具有更高的难度，在车牌倾斜的情况下，字符的排列方式不再是水平的排列，字符的角度也是处于倾斜的状态。一些在水平车牌上的识别方法在这种倾斜的情况下很难表现出优秀的精度。但是在车牌的实际应用场景中，例如交通摄像头的俯视视角、收费站的侧面倾斜视角捕获的车牌图像都是大角度倾斜，识别难度较大。此外，车牌类型种类多样，包含不同的颜色、字体、字符个数，存在单行文本的车牌和双行文本的车牌，不同的字体颜色和布局方式导致难以用一种方法同时识别多种类型的车牌。

发明内容

本发明针对现有技术针对单一的车牌类型，难以兼容多场景下车牌的缺陷，提出一种基于单字符注意力的多类型车牌识别方法及系统，采用在全局特征空间进行单字符软分割后再独立识别单字符的策略，实现多种类型车牌的同时识别，不需要提前进行额外的车牌分类调用不同识别算法。

本发明是通过以下技术方案实现的：

本发明涉及一种单字符注意力的多类型车牌识别方法，首先使用多尺度特征提取骨干网络对车牌图像进行多种尺度特征提取和融合，然后对得到的全局特征进行基于单字符注意力的下、上采样得到多通道的掩码图像，再基于掩码图像对全局特征进行单字符特征软分割获得独立的单字符特征向量，最后通过单字符分类器对多个单字符特征向量进行单字符预测分类并将分类结果按次序拼接成字符串并输出。

所述的预测，使用多分类头并行预测多个字符分类结果，将字符串序列识别简化为多个单字符分类。

所述的软分割，采用注意力机制对单字符特征进行软分割，无需单字符位置标注实现字符特征软分割。

所述的多尺度特征提取骨干网络，具体为轻量化卷积结构组成特征提取网络实现更快的多尺度车牌图像特征提取。

所述的多种尺度特征提取和融合，使用卷积进行多尺度特征融合不同视野域的特征信息，自适应不同尺度的字符图像。

技术效果

本发明整体解决了现有技术对多种类车牌尤其是单双行车牌的不兼容问题；同时解决了倾斜车牌的识别难题。与现有技术相比，本发明利用单字符注意力机制对全局特征进行特征软分割，无需在原图上进行字符软分割并且训练阶段无需单字符位置标注，进一步通过权重共享的多字符分类头结构，节省网络参数量并实现并行化操作，本发明实现兼容多种类型的车牌，使得识别算法具有更高的识别精度。

附图说明

图1为本发明流程图；

图2为本发明系统示意图；

图3为多尺度特征提取骨干网络示意图；

图4为字符注意力预测网络结构示意图；

图5为单字符特征萃取示意图；

图6为实施例脚本生成的车牌样本示意图。

具体实施方式