[发明专利]基于时空关联与先验知识的交通信号灯实时识别方法

摘要

基于时空关联与先验知识的交通信号灯实时识别方法属于智能交通行业的交通信息检测领域。本发明首先利用先验知识在原始图像上定位感兴趣区域，通过经验值过滤掉与红绿灯无关的区域。然后，提取信号灯红绿色区域并在此基础上利用形状特征过滤。之后读入过滤后的子区域，依次提取子区域的HOG特征，再利用分类器对信号灯样本进行训练。最后，依据分类器的判别函数对当前信号灯进行识别。如前方绿灯，可以行驶；如果前方红灯，发出停车信号。如果二者都存在，依据时空关联信息与所在车道决定行驶与否。本发明符合红绿灯的检测识别特点，能够实时准确地检测出红绿灯信息，运用于智能车当中，辅助其正确安全行驶。

主权项

一种基于时空关联与先验知识的交通信号灯实时识别方法，其特征在于，包括以下步骤：(1)首先固定采集视频的摄像头位置，安装在智能汽车的后视镜中间位置，距离地面1‑1.2米，摄像头广角大于120度，分辨率大于640*480；通过智能车辆上的摄像机，以20‑50帧/秒的帧率实时获取智能车辆前方道路的图像image；结合先验知识，摄像头安装于智能车辆的正上方，信号灯在图片中出现的位置自底向上，当位置到达图片高度1/2时，开始能够准确的识别信号灯；故设定感兴趣区域为图片的上半部分；(2)提取信号灯的颜色；摄像机采集到的图片类型为RGB，将图片颜色空间从RGB转换到YCbCr，转换公式如下所示：Y=0.257×R+0.564×G+0.098×B+16Cb=-0.148×R-0.291×G+0.439×B+128Cr=0.439×R-0.368×G-0.071×B+128---(1)]]>在Cb通道下进行信号灯红色及绿色的提取，初步找到信号灯的颜色区域；Rmin为红色阈值的最小值108，Rmax为红色阈值的最大值160，Gmin为绿色阈值的最小值10，Gmax为绿色阈值的最大值60，f(x,y)表示点(x,y)处的像素值；{f(x,y)|Rmin≤fcb≤Rmax},Color=Red{f(x,y)|Gmin≤fcb≤Gmax},Color=Green---(2)]]>颜色区域找到之后，对找到的区域颜色进行增强，其他无关区域颜色减弱；CRGB(R,G,B)‾=(255,0,0)T,Color=Red(0,255,0)T,Color=Green(128,128,128)T,Color=Else---(3)]]>(3)特征过滤；将上述图片颜色区域进行二值化，依次依据以下特征过滤；过滤条件1：面积；遍历二值图中所有轮廓，求取所有轮廓的面积，面积在一定范围内的区域保留；假定图像有Nr个候选区域，记为Ri,i＝1,…Nr；Amax表示轮廓面积的最大值，取值为8000，Amin表示轮廓面积的最小值，取值为60；Ri(A)表示第i个轮廓的面积；Bool(Ri(A))=1,Amax≤A≤Amin0---(4)]]>过滤条件2：形状；求取每个轮廓的外接矩形，得外接矩形的宽、高，过滤条件为外接矩形的宽高比率Rwh，比率满足以下条件的区域保留；Bool(Ri(Rwh))=1,0.8≤Rwh≤1.50---(5)]]>过滤条件3：密度；求二值图中每个轮廓的密度；对于信号灯来说，颜色区域块内的所有像素点均为同一颜色，并且像素间排列紧密，所求得的密度大；f(x,y)表示二值图中点(x,y)处的像素值，A为轮廓面积；密度大于0.6的区域保留；ρ=AΣi=1mΣj=1nf(x,y)---(6)]]>(4)对保留下来的红绿色区域依次提取HOG特征；(5)采集实际路况下的视频，从中分割出信号灯图片作为样本，利用SVM训练这些信号灯样本，生成信号灯分类器；训练正样本包括以下类型的图片：红色圆形、绿色圆形、红色左转箭头、红色直行箭头、红色右转箭头、绿色左转箭头、绿色直行箭头、绿色右转箭头；负样本为从获取的视频图像中随机剪切出的非信号灯图片；训练好的分类器包括红色、绿色两组，每组又包括4个分类器，分别是圆形、左转、直行、右转信号灯的分类器；(6)信号灯的识别；对上述经过特征过滤保留下来的区域提取HOG特征,特征记为x，依据该区域的颜色选择对应颜色的分类器组，之后把HOG特征x代入所在组的4个分类器来依次进行分类识别,得到对应的分类结果；分类结果包括信号灯的颜色及类型:圆形、左转、直行、右转；在识别过程中求出每个信号灯区域的中心坐标值，判断中心坐标横坐标的大小关系即可得到每个信号灯的位置信息，结合分类器识别的类型结果得到信号灯完整的信息；之后利用时空关联信息进行识别；时间关联：(1)利用帧间图像在时间序列上连续的特点进行精确识别，确保错误识别结果不发出，识别结果第1到N帧为第一颜色，如果第N+1帧到N+i帧图像识别结果为第二颜色或者没有检测到，而第N+i+1帧到N+M帧识别结果为所述第一颜色，则最后识别结果为所述第一颜色，其中，N的范围是20<＝N<＝40，i的范围是5<＝i<＝10，M的范围是20<M<40；(2)利用同一个信号灯的颜色变换顺序特点进行精确识别，丢弃发生错误的帧；空间关联：(1)利用一组指示相同或不同方向的信号灯在空间中的位置顺序进行精确识别，丢弃识别结果中所述信号灯空间位置顺序为非正常的帧；(2)利用一组信号灯在水平方向平行而在纵坐标位置相差不大的位置关系进行精确识别，某个灯与其他灯的纵位置坐标有较大差距，则必定有错误结果出现，可结合其他信息排除，判断方式为：其中，Li为第i个信号灯的中心纵坐标，D为阈值100。