[发明专利]一种基于热力图和关键点回归的深度车牌检测方法

权利要求书

1.一种基于热力图和关键点回归的深度车牌检测方法，包括离线学习阶段和检测阶段，其特征在于：

离线学习阶段包括以下四个步骤：

(1)设计网络深度：设计深度学习网络结构，将输入图像调整统一，对图像进行第一层卷积和激活函数操作，再进行第二层卷积、激活函数和池化操作，然后进行第三层卷积、激活函数和池化操作，然后形成多任务分支，一个分支通过一个卷积层学习车牌坐标，另一个分支通过另一个卷积层学习车牌热力图；

(2)准备训练样本集：获取一批车头或车尾图像作为离线学习的样本集，样本总类数越多，训练效果越好，并对样本大小统一化；

(3)进行样本标注：本方法需要进行两种信息的标注，一种是车牌原图中的车牌坐标，另一种是车牌热力图，车牌位置坐标采用人工标注获取，包括车牌左上角坐标以及车牌宽和高，这些值都需要进行归一化至(0,1)，从而得到归一化车牌位置坐标，由4个值表示(x,y,w,h)，车牌图像热力图根据车牌坐标自动生成，热力图大小为26×26，新建一个26×26的标注矩阵，初始化为0，在(26x,26y,26w,26h)区域表示车牌位置标注为1，输入的图像涵盖车牌各种位置及车牌种类，使训练的网络能适应复杂情况；

(4)进行训练：使用步骤(1)中描述的网络结构对步骤(3)中得到的训练样本集进行多任务训练；

检测阶段包括以下四个步骤：

(1)输入车辆车牌图像：输入待检测车牌的车辆图像，图像大小为(Wo,Ho)；

(2)用训练的网络模型进行前向计算：利用训练阶段得到的网络对车牌图像进行前向计算，网络输出坐标值(x',y',w',h')，以及热力图；

(3)设置阈值：设置阈值T，统计热力图区域(26x’,26y’,26w’,26h’)中大于阈值T的点个数记为Num；

(4)系统进行判断：当Num的占比大于50％，也就是Num大于(26w'×26h'/2)时，表示检测到车牌，然后输出车牌在原图中的位置(Wo·x',Ho·y',Wo·w',Ho·h')，当Num小于(26w'×26h'/2)时，表示网络响应太弱，将该坐标值(x',y',w',h')进行丢弃，然后输出车辆为无牌车。

2.根据权利要求1所述的一种基于热力图和关键点回归的深度车牌检测方法，其特征在于：

所述离线学习阶段步骤(1)中网络结构大小统一调整为120×120×3，第一层卷积后为116×116×10，第二层卷积后为57×57×20，第三层卷积后为28×28×40。

3.根据权利要求1所述的一种基于热力图和关键点回归的深度车牌检测方法，其特征在于：

所述离线学习阶段步骤(2)中的样本，统一调整大小为120×120×3。