[发明专利]基于端到端的车牌检测与关键点检测方法及装置在审
申请号: | 202111449946.2 | 申请日: | 2021-11-30 |
公开(公告)号: | CN114267030A | 公开(公告)日: | 2022-04-01 |
发明(设计)人: | 程家明;周志祥;孙建国;彭杨 | 申请(专利权)人: | 武汉兴图新科电子股份有限公司 |
主分类号: | G06V20/62 | 分类号: | G06V20/62;G06V10/25;G06V10/774;G06K9/62 |
代理公司: | 武汉知产时代知识产权代理有限公司 42238 | 代理人: | 张毅 |
地址: | 430000 湖北省武汉市东湖新*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 端到端 车牌 检测 关键 方法 装置 | ||
1.一种基于端到端的车牌检测与关键点检测方法,其特征在于,包括以下步骤:
获取车牌图像数据,并进行预处理;
构建一种基于改进Yolo的车牌检测网络;
使用预处理后的车牌图像数据对所述基于改进Yolo的车牌检测网络进行训练,训练完成后,得到训练好的车牌检测网络;
将待识别车牌图像数据输入到所述训练好的车牌检测网络中进行检测,得到车牌检测与关键点检测结果。
2.如权利要求1所述的基于端到端的车牌检测与关键点检测方法,其特征在于,所述预处理包括数据增强和归一化处理;所述数据增强包括:旋转、镜像、mixup和masiac。
3.如权利要求1所述的基于端到端的车牌检测与关键点检测方法,其特征在于,所述构建基于改进Yolo的车牌检测网络包括:构建由三个网络结构构成的车牌检测网络,分别为backbone、neck和head。
4.如权利要求3所述的基于端到端的车牌检测与关键点检测方法,其特征在于,所述backbone采用CSPDarkNet53,用于获得所述预处理后的车牌图像数据的基本特征。
5.如权利要求3所述的基于端到端的车牌检测与关键点检测方法,其特征在于,所述neck包括四层PAN与四层FPN构成双向金字塔结构,四层FPN自顶向下增强语义信息,用于获得所述预处理后的车牌图像数据的语义特征;四层PAN自底向上传递位置信息,用于获得所述预处理后的车牌图像数据的位置特征。
6.如权利要求3所述的基于端到端的车牌检测与关键点检测方法,其特征在于,所述head结构在原始Yolo网络的head结构的基础上增加了8个点,用于输出车牌的四个关键点坐标。
7.如权利要求3所述的基于端到端的车牌检测与关键点检测方法,其特征在于,所述使用预处理后的车牌图像数据对所述基于改进Yolo的车牌检测网络进行训练,训练完成后,得到训练好的车牌检测网络的步骤,包括:
将所述预处理后的车牌图像数据输入到所述backbone中进行特征提取,获得图像数据的基本特征;
将所述基本特征输入所述neck中进行语义增强与位置信息传递,获得图像数据的语义特征和位置特征;
将所述语义特征和所述位置特征通过所述head预测输出四层特征图,每层特征图的每个anchor有三个预选结果;
对各所述预选结果进行非极大值抑制处理后,滤除低置信度和重复冗余的预选结果,得到最终预测结果,所述最终预测结果包括目标框以及目标框内车牌的四个关键点;
根据所述最终预测结果和所述训练样本集中的标签计算得到多任务损失函数,通过后向传播方法优化所述车牌检测网络的模型参数,保留参数优化后的车牌检测网络。
8.如权利要求7所述的基于端到端的车牌检测与关键点检测方法,其特征在于,在所述得到最终预测结果的步骤之后,还包括:
根据所述最终预测结果中包含的目标框框以及目标框内车牌的四个关键点进行透视变换,投影到矩形平面,得到矫正后的车牌。
9.如权利要求7所述的基于端到端的车牌检测与关键点检测方法,其特征在于,所述多任务损失函数包括:车牌目标框回归损失函数、车牌分类损失函数和车牌关键点损失函数;
所述车牌目标框回归损失函数使用CIOU损失函数;
所述车牌分类损失函数使用CE交叉熵损失函数;
所述车牌关键点损失函数使用wingloss;
所述多任务损失函数loss=CIOU+CE+β*wingloss;
其中:β为平衡loss的系数,t表示迭代次数。
10.一种基于端到端的车牌检测与关键点检测装置,其特征在于,包括以下模块:
图像数据获取及预处理模块,用于获取车牌图像数据,并进行预处理;
网络构建模块,用于构建一种基于改进Yolo的车牌检测网络;
网络训练模块,用于使用预处理后的车牌图像数据对所述基于改进Yolo的车牌检测网络进行训练,训练完成后,得到训练好的车牌检测网络;
车牌检测模块,用于将待识别车牌图像数据输入到所述训练好的车牌检测网络中进行检测,得到车牌检测与关键点检测结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于武汉兴图新科电子股份有限公司,未经武汉兴图新科电子股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111449946.2/1.html,转载请声明来源钻瓜专利网。