[发明专利]通用车牌识别方法

权利要求书

1.一种通用车牌识别方法，其特征在于，具体包括如下步骤：

1)触发相机进行视频拍摄，具体包括二个独立进程：(A)光流法获得运动前景并提取关键特征点；(B)关键特征点聚类后聚焦拍照；

2)运动图像去模糊：拍摄视频时，车辆速度慢，视频所得图像清晰，则进入步骤3)；如拍摄视频时，车辆速度快，则视频所得图像模糊，根据步骤1)中(B)所得到的聚焦特征点集合值进行滤波去除运动引发的模糊；

3)车牌定位，得到车牌区域轮廓二值化图I1；

4)仿射，对拍摄到的车牌在图像的倾斜度仿射矫正，根据I1计算仿射变换的参数，对I1进行仿射变换得到仿射变换后车牌图像I2；

5)车牌内部区域分割，提取信息：对步骤4)仿射变换后车牌图像I2采用Sobel算子提取边界，进行车牌背景底色/背景图案边缘初步筛选；将主信息与未剔除的图案区进行区分，提取主信息；提取车牌内部矩形区域；车牌上方、下方辅助信息定位；检测车牌是否有上部、下部的辅助信息，如有获取上方、下方辅助信息；提取信息的具体步骤如下(E1)-(E5)：

(E1)、车牌背景底色/背景图案边缘初步筛选：对步骤4)仿射变换后车牌图像I2采用Sobel算子提取边界，得到边界图像Ia，然后采用Otsu方法对边界图像进行二值化处理得到二值图像Ib；前景与背景之间的边界经sobel算子处理后绝对值非常大，在二值化后前景-背景边界被设定为1，背景经过Sobel算子处理后，相邻像素之间差异值很小，背景-背景边界在二值化后会被设定为0；

(E2)、提取主信息：将主信息与未剔除的图案区进行区分，提取主信息，具体实现方法如下步骤(E2-1)至(E2-3)：

(E2-1)首先对二值图像Ib检测闭合区域，然后对闭合区域做种子填充，闭合区域内部所有像素点用“1”填充，这样得到的图像称为模板图像Ic，再将模板图像Ic与图像I2进行“与”操作，得到图Id，图Id中有主、辅助信息、强边缘的背景图；

(E2-2)对应模板图像Ic中像素值为1的位置，在图Id中与之对应的位置各像素点做直方图统计，初始化当前像素值pg＝2；

(E2-3)对当前像素值pg进行(E2-3a)至(E2-3d)处理：

(E2-3a)判断是否pg小于254，若否，则表示没有发现主信息，退出整个识别过程，车牌无法识别：若是，则统计步骤(E2-2)直方图中像素值pg-2、pg-1、pg、pg+1、pg+2合计出现的概率，若合计出现的概率超过12％，则转入(E2-3b)；否则更新pg＝pg+1，然后重复本步骤；

(E2-3b)在图Id中，连通为八连通、连通规则为：若相邻像素值分别与pg之差的绝对值不超过2则连通；判断此规则下出现的连通区域个数是否不少于门限VII，若是则转到步骤(E2-3c)；如否，更新pg＝pg+1,返回(E2-3a)；

(E2-3c)分别求(E2-3b)中这些连通区域的行坐标X最大值、最小值，统计满足以下条件：最大值大于车牌高度的55％、并且最小值小于车牌高度的40％的连通区域的个数N1，若N1小于门限VII则更新pg＝pg+1，返回(E2-3a)；否则转至(E2-3d)；

(E2-3d)判断满足(E2-3c)中X坐标条件的连通区域为车牌主信息区域，提取满足步骤(E2-3c)中条件的连通区域图像，将这些连通区域记录在一个序列中，同时记录这些连通区域行坐标X最大值Xmax、最小值Xmin和列坐标Y最大值Ymax、最小值Ymin，并记录下当前pg值，然后转到步骤(E3)；

(E3)、提取车牌内部矩形区域：具体做法如下(E3-1)至(E3-3)：

(E3-1)更新模板图像Ic：对步骤(E2-3d)中获得的主信息区域，在模板图像Ic中对应位置处像素值改为0，得到更新后的不含主信息的模板图像—此处记为Ic2；

(E3-2)将车牌图像I2与模板图像Ic2进行“与”操作，得到的图像记为Ie，Ie中不含车牌主信息、不含车牌背景中边缘强度较弱图案；

(E3-3)做步骤(E3-3a)至(E3-3c)处理去除车牌中边界强度较强的背景图案、提取车牌左、右方辅助信息的矩形；

(E3-3a)初始化矩形集合为空集，矩形集合用于记录各个矩形；

(E3-3b)对Ie用Sobel边缘算子提取边界，得到边界图像If，对If进行二值化处理：只要边缘强度大于门限VIII则二值化为1，否则为0，得到二值化图像记为Ig；在Ig中检查是否包含闭合轮廓，并记录检测到的闭合轮廓，若闭合轮廓内部包含闭合轮廓，则只记录最顶层闭合轮廓，内部闭合轮廓勿需记录；

(E3-3c)历遍(E3-3b)中得到的所有轮廓，对每个顶层轮廓进行如下操作(E3-3C1)至(E3-3C3)：

(E3-3c1)该轮廓是否为矩形？如果否，则跳转至(E3-3c2)步骤；若是则继续判断矩形宽、高比值是否在0.6-1.25之间、并且该矩形面积大于车牌面积的5％？若否，则忽略该矩形、对下一个顶层轮廓进行(E3-3c1)步骤；若是则跳转至(E3-3c3)；

(E3-3c2)检查是否该轮廓行坐标X最小值小于车牌高度的一半、并且行坐标X最大值大于车牌高度的一半？若是，更新模板图像Ic2，即在模板图像Ic2中该轮廓所包含区域对应位置全部像素值修改为0；若否，则忽略该轮廓，返回(E3-3c1)对下一个轮廓进行处理；

(E3-3c3)该矩形放入矩形集合中，更新模板图像Ic2，在模板图像Ic2中将该矩形内部区域对应位置像素值全部修改为0；

模板图像Ic2像素值为1的区域对应车牌图I2中无弱背景图案、无位于车牌中部的强背景图案、无矩形内辅助信息、无车牌主信息；

(E4)车牌上方、下方辅助信息定位：车牌中信息无论分几行，行与行之间是有明显间隔的，对步骤(E3)处理后的模板图像Ic2做水平方向投影，水平投影中出现峰值，如果只有上或下部出现峰值，则表明车牌有二部分组成，如果没有明显峰值，则车牌仅有中间信息组成；如果上、下部分投影后都没有明显峰值，说明只有主信息一行，可以转入步骤6)进行信息识别了，否则转入(E5)；(E5)获取上方、下方辅助信息：具体步骤如下(E5-1)至(E5-8)：

(E5-1)将车牌图像I2与经过步骤(E4)判断定位后的模板图像Ic2做“与”操作，得到的图像记为Ih；若在(E4)中判断上部有内容，则从Ih中提取X坐标在0-Xmin区间的图像，相应也从此模板图像Ic2中提取X坐标在0-Xmin区间的模板图像；若判断下部有内容则在Ih中提取X坐标在Xmax，Ih中Xmax属于车牌高度区间的图像，相应也从此模板图像Ic2中提取X坐标在Xmax，Ic2中Xmax属于车牌高度区间的模板图像；

(E5-2)至(E5-8)是对上、下二个区域分别进行的，将从Ih中提取的一个区域图像称为Re，将从步骤(E5-1)区间判断后的模板图像Ic2中提取的对应模板图像标记为Ics；

(E5-2)对Re运用Sobel边缘算子，得到边界图像，对该边界图像进行二值化处理得到图像Rc1，然后对得到的二值化图Rc1检测闭合轮廓，只记录顶层闭合轮廓；

(E5-3)在Rc1中对每个顶层闭合轮廓进行种子填充，得到图像Rc2，将Rc2和Re进行“与”操作，得到图像Re2，同时记录每个顶层闭合轮廓的最大、最小Y坐标；

(E5-4)对Rc1中各个顶层闭合轮廓，统计其在Re2中对应该轮廓所围区域像素平均值和方差；

(E5-5)检查每个轮廓的所围区域均值和方差，若方差大于门限XI，则在步骤(E5-1)区间判断后的模板图像Ic2中将该轮廓所围区域内所有像素值改为0，判断该轮廓属于非辅助信息；否则判断为“潜在辅助信息”的轮廓；

(E5-6)历遍每个“潜在辅助信息”轮廓，检查该轮廓Y坐标最大值是否大于车牌宽带65％、并且最小值是否小于车牌宽带35％？若是，则保留该轮廓，认为它是辅助信息，可以被送入步骤6)进行识别，并将其标记为图标，以便在后续对该区域不做字符分割处理，同时在Ic2将所有该轮廓所围区域像素值均改为0；若否，则该轮廓被判为属于“孤立潜在辅助信息”的轮廓；

(E5-7)对所有“孤立潜在辅助信息”进行合并处理：如果二个“孤立潜在辅助信息”轮廓中X坐标最小值之差的绝对值不超过5，X坐标最大值之差的绝对值不超过5、并且所围区域像素平均值的差异之绝对值小于10，则认为这二个孤立潜在辅助信息可以合并，将二者Y坐标的最小值中最小的一个、二者Y坐标最大值中大的一个，分别作为合并后新区域Y坐标最小值、最大值，求新区域的像素平均值，重复本步骤直到没有可以合并的“孤立潜在辅助信息”；

(E5-8)检查每个合并后新区域Y坐标最大值是否大于车牌宽带65％并且最小值是否小于车牌宽带35％？如是，则认为它含有辅助信息，需要对区域内每个闭合区域进行字符识别；若否，则说明该区域无实质性信息，直接丢弃该区域，并在Ic2将所有该区域包含的像素点值设为0；

6)字符/图标识别：对步骤5)区域内的信息进行字符/图标识别，完成整个车牌识别。