[发明专利]一种基于视频的车牌识别方法

摘要

本发明提供了一种基于视频的车牌识别方法，用摄像头实拍的车辆视频作为输入，检测出运动车辆并将其分割出来，通过对预处理后的目标车辆图像进行竖直边缘提取，确定出车牌区域的准确位置，并将车牌分割出来，对车牌图像进行颜色校正、二值化和倾斜校正处理，将已定位的车牌区域中的每个字符分割出来，成为单个字符，对各个字符进行特征提取，将所得到的特征向量通过预先训练好的分类器进行分类并将分类结果作为初步识别结果，将被污损的车牌字符通过仿人眼视觉特性的模板匹配算法进行二次识别，最终得到车牌识别结果。本发明减少了硬件成本，提高了智能交通系统的管理效率，具有较强的抗干扰性和鲁棒性，识别率高、速度快。

主权项

一种基于视频的车牌识别方法，其特征在于包括下述步骤：(1)运动车辆检测，具体实现步骤是：(1a)将高清摄像头实拍的公路上正常行驶的车辆视频中每一帧大小为m×n的图像均匀分割为M×N个大小相等的子块，每个字块的大小为24×24像素；(1b)依次将当前帧I(i,j,k)与前一帧I(i,j,k‑1)作差得D(i,j,k)，累计D(i,j,k)的每个子块中像素值大于阈值Th1＝100的像素个数，并将其对应存入大小为M×N的矩阵R；(1c)依次判定矩阵R中的每一个值，当该值大于等于阈值Th2＝58时，判定原图像中对应子块有运动目标出现，将原图像中的该块赋白，即若R(i,j)≥Th2，则R(i,j)＝1，若R(i,j)＜Th2，则R(i,j)＝0；(1d)当连通的白色区域的大小大于阈值Th3＝m×n×53％时判定此处出现运动车辆，否则判定其为噪声引起的非目标区域，将其排除；(1e)上一步确定的白色区域即为目标车辆区域，通过行列扫描确定车辆水平和竖直位置，再据此位置从原始图像中将车辆分割出来，并将含有运动车辆的图像作为输入图像；(2)车牌定位，具体实现步骤是：(2a)对输入图像分别做水平方向和竖直方向的顶帽变换，得到预处理后的图像；(2b)使用Sobel算子的竖直边缘检测掩膜对预处理后的图像进行边缘检测，得到只含竖直边缘信息的二值图像；(2c)对只含竖直边缘信息的二值图像先后进行闭运算和开运算，得到候选的车牌区域；(2d)计算每个候选区域的长宽比和水平方向投影的跳变值，若车牌的宽W高H比为3:1，车牌的面积S和周长L的平方满足S＝L²/22，引入匹配度参量α、β，设α＝(3×H)/W，β＝(22×S)/L²，当匹配度|α‑1|≤0.05,|β‑1|≤0.05时说明对应的连通区域是车牌区域；计算候选区域的灰度值跳变数J₁，若|J₁‑Th_jump|≥3，则排除该区域，其中Th_jump＝14；(3)车牌图像预处理，具体实现步骤是：(3a)将所述车牌区域灰度化后作低通滤波处理，取低通滤波处理后图像对应的最大灰度值f_max与原车牌图像的平均灰度值f_ave作比较，若f_max‑f_ave＞0，则判断车牌底色为浅色，若f_max‑f_ave＜0，则判断为深色；(3b)求车牌区域的蓝色分量的直方图并做低通滤波处理，找出直方图中的最大灰度值g；(3c)若判断车牌底色为浅色，则对处理后的车牌图像求反；若为深色车牌则无需校正；(3d)当判断车牌底色为浅色时，若g＞Th_color，Th_color＝120则判定车牌底色为白色，将车牌图像中的红色像素点的RGB值校正为[40,40,g‑60]，若g＜Th_color则无需校正；车牌底色为深色时，若g＜Th_color则判定车牌底色为黑色，将车牌图像中的红色像素点的RGB值乘以2，若g＞Th_color则无需校正；(3e)对上述经过颜色校正的车牌灰度图像作顶帽变换；(3f)求顶帽变换后的车牌图像的灰度直方图，找到直方图中最大的两个波峰，将这两个波峰对应索引的均值作为阈值对灰度图像进行二值化，若不存在上述两个波峰，则改用Otsu法对灰度图像进行二值化；(3g)对二值图像做数学形态学运算，即先用2×30的1矩阵进行闭运算，再用5×4的1矩阵进行开运算，然后使用canny算子对数学形态学处理后的图像作边缘检测，再通过Hough变换检测一条最长线段，求此线段的倾角α，α即为图像的水平倾斜角度，按此角度α反向旋转图像，得到水平倾斜校正后的车牌图像；(3h)对所述水平倾斜校正后的车牌图像通过行扫描检测灰度值跳变数J₂，若|J₂‑Th_jump|≤2，则认为该行为字符所在行，否则作为上下边框予以切除；(3i)对切除上下边框的车牌二值图像以渐进的角度θ做剪切变换，0°＜θ＜20°，步长为0.3°，计算变换后的图像水平方向上投影的方差，最大方差对应的角度β即为垂直倾斜角度，按角度β对图像做剪切变换，最终得到校正后的车牌图像；(4)字符分割，具体实现步骤是：(4a)对校正后的车牌图像作中值滤波，并进行区域标记，从而删除干扰区域；然后提取各区域中心，寻找行坐标最大的两个中心点A和B，若x₁＜H×0.6，x₂＜H×0.6，|x₁‑x₂|＜3，其中x₁和x₂分别表示A、B点的行坐标，H表示车牌图像高度，则认为该车牌是武警车牌；反之，则判定该车牌是普通车牌；(4b)若判断该车牌为武警车牌，则以A、B点的所属区域作为武警车牌的小数字区域，此区域右侧五个区域作为字符区域，一共七个字符区域；(4c)若判断该车牌为普通车牌，则用灰度投影法对字符进行分割；(4d)计算每一段投影不为零的区域的宽度w，找出满足条件的宽度，即0.08w_p＜w＜0.125w_p，其中w_p为车牌宽度；(4e)将上述字符宽度满足条件的区域作为字符区域；(4f)计算字符区域数目n，若n＜7，则认为有字符1存在；(4g)对不满足步骤(4d)条件的区域进行二次筛选，若其宽度w满足0.01w_p＜w＜0.05w_p，则判定其为字符1，否则舍去该区域；(4h)重新计算字符区域数目m，若m＝6，则认为缺少汉字字符，以第一个字符左侧的第一个区域作为汉字字符区域；若m＝7，则结束字符分割；若为其他，则认为车牌受损严重或者图像为伪车牌图像；(5)字符识别，具体实现步骤是：(5a)对分割出来的7组车牌字符图像使用双线性插值的方法进行大小变换，得到7组像素大小为32×16的归一化图像；(5b)对归一化图像分别进行特征提取：首先将所述归一化的图像分为4×4的块，对每一块内的灰度值求和，可以得到8×4的数组；然后对所述归一化的图像边缘用0扩充，对其用Canny算子做边缘检测，仅保留最大边缘；(5c)对上述仅保留最大边缘的图像均匀分割为4×4的块，对每一块内的灰度值求和，得到另一组8×4的数组；(5d)将上述两个数组拉直合并，组成一个64维的向量，作为该字符图像的特征向量；(5e)用实际拍摄的样本图片训练BP网络，得到训练好的BP神经网络分类器；(5f)提取待识别字符的特征向量，送入训练好的BP神经网络分类器进行分类识别，得到初步的识别结果；(5g)当上述初步分类无法正确识别时，将污损字符图像提取出来；然后将其分为左上、左下、右上、右下四个大小相等的子块，将待识别字符的子块与模板库中模板的对应块进行匹配；最后将匹配结果最为接近的模板对应的车牌字符作为最终识别结果。