[发明专利]一种基于深度学习的自然场景中车牌检测系统

权利要求书

1.一种基于深度学习的自然场景中车牌检测系统，其特征在于，它包括：输入单元，用于自然场景图像的输入，包括但不限于摄像头采集图像输入、码流解码输入；

第一深度网络单元，它用于对车牌的初筛，并包括6个卷积层、1个最大池化层、1个非极大值抑制处理单元；

第二深度网络单元，它用于对车牌的再次筛选，包括3个卷积层、3个全连接层、2个最大池化层；和，

输出单元，对所有的通过了第一深度网络结构初筛和第二深度网络结构筛选的车牌区域进行对比，如果存在重合且重合区域大于阈值Th_4，那么这些区域合并为一个区域；将经过合并处理后的区域输出，输出的区域即为疑似车牌区域。

2.根据权利要求1所述的一种基于深度学习的自然场景中车牌检测系统，其特征在于，所述第一深度网络单元的结构包括：

a)第一卷积层的参数为(3,9,3,10)，表示对输入单元的RGB图像(h,w,3)以(3,9,3)的卷积核进行卷积，卷积的跨度为1，共10组卷积核，得到(new_h,new_w,10)的输出，其中new_h＝h-2,new_w＝w-8；

b)第一最大池化层以(2,2)的核对第一卷积层的输出数据(h,w,10)进行池化，池化的跨度为2，得到(new_h,new_w,10)的输出，其中new_h＝h/2，new_w＝w/2，不能整除时向下取整，例如w＝5时，new_w＝2；

c)第二卷积层的参数为(3,9,10,16)，表示对第一最大池化层的输出数据(h,w,10)以(3,9,10)的卷积核进行卷积，卷积的跨度为1，共16组卷积核，得到(new_h,new_w,16)的输出，其中new_h＝h-2,new_w＝w-8；

d)第三卷积层的参数为(3,9,16,32)，表示对第二卷积层的输出数据(h,w,16)以(3,9,16)的卷积核进行卷积，卷积的跨度为1，共32组卷积核，得到(new_h,new_w,32)的输出，其中new_h＝h-2,new_w＝w-8；

e)第四卷积层的参数为(1,4,32,2)，表示对第三卷积层的输出数据(h,w,32)以(1,4,2)的卷积核进行卷积，卷积的跨度为1，共2组卷积核，得到(new_h,new_w,2)的输出，其中new_h＝h,new_w＝w-3。第四卷积层的输出分别为判定为车牌的得分和判定为非车牌的得分，如果判定为车牌的得分大于判定为非车牌的得分，那么该区域可能存在车牌；

f)第五卷积层的参数为(1,4,32,4)，表示对第三卷积层的输出数据(h,w,32)以(1,4,4)的卷积核进行卷积，卷积的跨度为1，共4组卷积核，得到(new_h,new_w,4)的输出，其中new_h＝h,new_w＝w-3。第五卷积层的输出是车牌区域相对于当前位置的偏差，分别代表(dx,dy,dw,dh)，即中心坐标x、y的偏差和宽高w、h的偏差；

g)非极大值抑制处理单元将第四卷积层的输出数据中判定为车牌的得分大于判定为非车牌的得分，且判定为车牌的得分大于阈值Th_0的区域筛选出来，并根据第五卷积层的输出数据中的(dx,dy,dw,dh)，对于车牌区域位置进行校正，最后比较这些区域是否重叠，如果重叠面积大于阈值Th_1，保留其中得分最高的区域。

3.根据权要求1或2所述的一种基于深度学习的自然场景中车牌检测系统，其特征在于，训练第一深度网络单元时，图像统一缩放到(12,48,3)的大小，经过卷积层和最大池化层的大小分别为(10,40,10)->(5,20,10)->(3,12,16)->(1,4,32)->(1,1,2)和(1,1,4)根据预设的最大车牌高度和最小车牌高度，对自然场景图像进行缩放，并对缩放后的图像序列都进入第一深度网络单元进行处理，从而得到各个尺度下不同搜索框生成的初筛图像，并将通过初筛的图像统一缩放到(24,96,3)的大小。

4.根据权利要求1所述的一种基于深度学习的自然场景中车牌检测系统，其特征在于，所述第二深度网络单元的结构包括

a)第一卷积层的参数为(3,9,3,28)，表示对初筛并统一缩放后的图像(24,96,3)以(3,9,3)的卷积核进行卷积，卷积的跨度为1，共28组卷积核，得到(22,88,28)的输出；

b)第一最大池化层以(3,3)的核对第一卷积层的输出数据(22,88,28)进行池化，池化的跨度为2，得到(11,44,28)的输出；

c)第二卷积层的参数为(3,9,28,48)，表示对第一最大池化层的输出数据(11,44,28)以(3,9,28)的卷积核进行卷积，卷积的跨度为1，共48组卷积核，得到(9,36,48)的输出；

d)第二最大池化层以(3,3)的核对第二卷积层的输出数据(9,36,48)进行池化，池化的跨度为2，得到(4,17,48)的输出；

e)第三卷积层的参数为(2,6,48,64)，表示对第二最大池化层的输出数据(4,17,48)以(2,6,48)的卷积核进行卷积，卷积的跨度为1，共64组卷积核，得到(3,12,64)的输出；

f)第一全连接层的参数为(2304,128)，将第三卷积层的输出展开为维度为2304的一维向量(3*12*64)，向量和矩阵乘得到(128)的一维向量；。

g)第二全连接层的参数为(128,2)，和第一全连接层的输出向量进行矩阵乘法，得到(2)的一维向量，表示判定为车牌的得分和判定为非车牌的得分，如果判定为车牌的得分大于判定为非车牌的得分，那么该区域可能存在车牌；

h)第二全连接层的参数为(128,4)，和第一全连接层的输出向量进行矩阵乘法，得到(4)的一维向量，表示车牌区域相对于当前位置的偏差，分别代表(dx,dy,dw,dh)；

将判定为车牌的得分大于阈值Th_3的区域筛选出来，并根据计算得到的位置偏差校正车牌区域。