[发明专利]基于端到端的车牌检测与关键点检测方法及装置

说明书

本发明提供了一种基于端到端的车牌检测与关键点检测方法及装置，该方法包括以下步骤：获取车牌图像数据，并进行预处理；构建一种基于改进Yolo的车牌检测网络；使用预处理后的车牌图像数据对基于改进Yolo的车牌检测网络进行训练，训练完成后，得到训练好的车牌检测网络；将待识别车牌图像数据输入到所述训练好的车牌检测网络中进行检测，得到车牌检测与关键点检测结果。本发明提供的基于端到端的车牌检测与关键点检测方法及装置，基于改进的Yolo的车牌检测网络实现，可以同时实现多个车牌检测以及车牌对应的关键点检测的多任务检测效果，提高了检测速度，节约了计算资源。

技术领域

本发明涉及计算机视觉以及车牌识别技术领域，具体涉及一种基于端到端的车牌检测与关键点检测方法及装置。

背景技术

随着科技的日益发展，计算机视觉在人们的生活在发挥越来越重要的作用，基于神经网络的技术近年来得到了长足的发展，但是依然存在很多困难。比如说，目标检测算法只能检测标准的横竖矩形框，但是实际目标大都有一定的旋转或者由于拍摄角度，实际的目标是一个梯形，即使在加入其他校正算法，模型推理的速度也会成倍增加。

车牌检测分为两步，第一步是检测车牌，然后裁减出检测出所有的车牌区域，第二步是识别车牌，目前主要的难点在检测部分，在传统的车牌检测过程中，车牌目标检测和车牌关键点检测一直是两个任务，实际情况中都是分开的两个模型，两个模型在实际运用中消耗更多的资源，同时计算效率有很大的冗余。

发明内容

为了解决传统车牌检测方法通过两个模型分别进行车牌目标检测与车牌关键点检测存在的资源消耗过多，计算效率冗余的缺陷，本发明提供一种能同时检测出车牌以及车牌对应的关键点的检测方法及装置。

根据本发明的一个方面，本发明提供了一种基于端到端的车牌检测与关键点检测方法，包括以下步骤：

获取车牌图像数据，并进行预处理；

构建一种基于改进Yolo的车牌检测网络；

使用预处理后的车牌图像数据对所述基于改进Yolo的车牌检测网络进行训练，训练完成后，得到训练好的车牌检测网络；

将待识别车牌图像数据输入到所述训练好的车牌检测网络中进行检测，得到车牌检测与关键点检测结果。

优选地，所述预处理包括数据增强和归一化处理；所述数据增强包括：旋转、镜像、mixup和masiac。

优选地，所述构建基于改进Yolo的车牌检测网络包括：构建由三个网络结构构成的车牌检测网络，分别为backbone、neck和head。

优选地，所述backbone采用CSPDarkNet53，用于获得所述预处理后的车牌图像数据的基本特征。

优选地，所述neck包括四层PAN与四层FPN构成双向金字塔结构，四层FPN自顶向下增强语义信息，用于获得所述预处理后的车牌图像数据的语义特征；四层PAN自底向上传递位置信息，用于获得所述预处理后的车牌图像数据的位置特征。

优选地，所述head结构在原始Yolo网络的head结构的基础上增加了8个点，用于输出车牌的四个关键点坐标。

优选地，所述使用预处理后的车牌图像数据对所述基于改进Yolo的车牌检测网络进行训练，训练完成后，得到训练好的车牌检测网络的步骤，包括：

将所述预处理后的车牌图像数据输入到所述backbone中进行特征提取，获得图像数据的基本特征；

将所述基本特征输入所述neck中进行语义增强与位置信息传递，获得图像数据的语义特征和位置特征；

将所述语义特征和所述位置特征通过所述head预测输出四层特征图，每层特征图的每个anchor有三个预选结果；