[发明专利]一种基于机器视觉技术的单层/双层车牌增广方法

说明书

本发明公开了一种基于机器视觉技术的单层/双层车牌增广方法，包括：制作车牌图像；对车牌图像进行多样性增强；调整真实图像的车辆车牌角点位置；根据车牌图像和真实车牌的大小，计算四个顶点位置进行透视变换，然后进行图像填充，得到只有车牌的图像Img_tmp；制作一张大小和车牌一样，值全部为0的图像，使用该图像进行透视变换，变换到真实车牌大小的图片，并在车牌位置其余位置填充1，得到掩模图像；对掩模图像与原始真实车辆图像Img_org进行每一个像素点的与操作，得到图像Img_crop；对Img_crop与Img_tmp的像素点进行或操作，得到最终图像。本发明能够极大丰富车牌检测数据集，提高稀有车牌检测准确率。

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于机器视觉技术的单层/双层车牌增广方法。

背景技术

随着卷积神经网络的日益发展，其在文字识别、车牌内容识别等相关领域已被广泛使用。

随着深度学习和卷积神经网络的不断发展，神经网络以应用与各行各业。在交通运输系统中，车辆牌照定位与识别是计算机视觉与模式识别技术在智能交通领域应用的重要研究课题之一。在实际项目中，我们能够很容易获得蓝色车牌，绿色车牌这些道路上较为常见的车辆图片，但是很难获得自然路况下的稀少车牌的较为清晰的图像，如：黄色车牌（农用车和工程车），黑色车牌（大使、领事馆、外资企业车辆），白色车牌（军用车或者公安车）等。这样就使得我们在训练车牌检测和识别模型的时候，对数据量少的车牌效果不佳。在用卷积神经网络解决实际问题时，训练数据的数量与质量是制约网络效果的一个瓶颈。对于一些类型小众或者采集难度较大的数据则需要进行数据增广操作以满足卷积神经网络的训练需求。

在专利申请号为CN201910738162.8的发明专利中公开了一种基于卷积神经网络的数据增广方法，包括：将已标记车牌信息的图像输入到数据增广网络，数据增广网络包括：数据产生器和数据判别器；采用数据产生器，分别获取输入图像的三个层级下采样图像；将每个层级下采样图像分别输入对应层级CCGAN，获取对应层级的拼接特征向量，对拼接特征向量进行图像上采样操作，得到的图像作为对应层级CCGAN的输出图像；采用数据判别器，通过目标函数公式计算增广数据产生器的损失函数值，根据损失函数值调整每个层级CCGAN的网络参数，直至损失函数值收敛；将车牌图像输入数据增广网络进行处理，获得车牌图像的增广图像。该专利与现有技术相比，能够改善车牌增广图像种类数目不均衡情况。但是该专利主要是对阈值进行划分，实际上是针对检测算法得到的结果进行处理。而不是对车牌图像本身进行处理。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于机器视觉技术的单层/双层车牌增广方法。

本发明的目的是通过以下技术方案来实现的：

一种基于机器视觉技术的单层/双层车牌增广方法，包括以下步骤：

步骤1：根据各种车牌格式，选取固定字符，并从英文字母以及阿拉伯数字中随机挑选字符，进行车牌图像Img_plate的制作；

步骤2：随机选取一张制作好的车牌图像Img_plate，采用计算机视觉方法进行多样性增强；

步骤3：根据真实图像中车辆车牌的四个角点信息，对真实图像的车辆车牌角点位置进行调整；

步骤4：根据车牌图像Img_plate和真实车牌的大小，计算四个顶点位置进行透视变换，得到真实车牌大小的图片，在四个顶点内填充车牌图像Img_plate，其余位置填充白色，得到只有车牌的图像Img_tmp；

步骤5：制作一张和车牌一样大，但是值全部为0的图像；使用该图像和四个顶点位置进行透视变换，变换到真实车牌大小的图片，并在车牌位置其余位置填充1；得到车牌内部是0，其余位置是1的掩模图像Img_mask；

步骤6：使用掩模图像Img_mask与原始真实车辆图像Img_org进行每一个像素点的与操作，抠除车牌内部的信息，使变成黑色，从而得到图像Img_crop；