[发明专利]一种基于热力图和关键点回归的深度车牌检测方法

摘要

一种基于热力图和关键点回归的深度车牌检测方法，包括离线学习阶段和检测阶段，离线学习阶段包括以下四个步骤：(1)设计网络深度：设计深度学习网络结构，将输入图像调整统一，对图像进行第一层卷积和激活函数操作，再进行第二层卷积、激活函数和池化操作，然后进行第三层卷积、激活函数和池化操作，然后形成多任务分支，一个分支通过一个卷积层学习车牌坐标，另一个分支通过另一个卷积层学习车牌热力图；(2)准备训练样本集：获取一批车头或车尾图像作为离线学习的样本集，样本总类数越多，训练效果越好，并对样本大小统一化；本方法利用离线训练的深度网络表征目标，达到快速、稳定的对目标物进行车牌检测的目的。

主权项

1.一种基于热力图和关键点回归的深度车牌检测方法，包括离线学习阶段和检测阶段，其特征在于：离线学习阶段包括以下四个步骤：(1)设计网络深度：设计深度学习网络结构，将输入图像调整统一，对图像进行第一层卷积和激活函数操作，再进行第二层卷积、激活函数和池化操作，然后进行第三层卷积、激活函数和池化操作，然后形成多任务分支，一个分支通过一个卷积层学习车牌坐标，另一个分支通过另一个卷积层学习车牌热力图；(2)准备训练样本集：获取一批车头或车尾图像作为离线学习的样本集，样本总类数越多，训练效果越好，并对样本大小统一化；(3)进行样本标注：本方法需要进行两种信息的标注，一种是车牌原图中的车牌坐标，另一种是车牌热力图，车牌位置坐标采用人工标注获取，由4个值表示(x,y,w,h)，分别表示车牌左上角坐标以及车牌宽和高，这些值都需要进行归一化至(0,1)，车牌图像热力图根据车牌坐标自动生成，热力图大小为26×26，新建一个26×26的标注矩阵，初始化为0，在(26x,26y,26w,26h)区域表示车牌位置标注为1，输入的图像涵盖车牌各种位置及车牌种类，使训练的网络能适应复杂情况；(4)进行训练：使用步骤(1)中描述的网络结构对步骤(3)中得到的训练样本集进行多任务训练；检测阶段包括以下四个步骤：(1)输入车辆车牌图像：输入待检测车牌的车辆图像，图像大小为(Wo,Ho)；(2)用训练的网络模型进行前向计算：利用训练阶段得到的网络对车牌图像进行前向计算，网络输出坐标值(x',y',w',h')，以及热力图像；(3)设置阀值：设置阈值T，统计热力图区域(26x,26y,26w,26h)中大于阈值T的点个数记为Num；(4)系统进行判断：当Num的占比大于50％，也就是Num大于(26w'×26h'/2)时，表示检测到车牌，然后输出车牌在原图中的位置(Wo·x',Ho·y',Wo·w',Ho·h')，当Num小于(26w'×26h'/2)时，表示网络响应太弱，将该坐标值(x',y',w',h')进行丢弃，然后输出车辆为无牌车。