[发明专利]一种基于交通视频数据图像的确定交通目标所在区域的方法

摘要

本发明涉及一种基于交通视频数据图像的确定交通目标所在区域的方法，技术特征在于：记录驾驶员观察真实交通视频时的关注点；训练交通目标检测模板，用交通目标检测模板与视频做卷积，提取出视频的基于物体的特征；利用时空方向滤波器，提取视频的运动特征；将人眼关注位置的像素作为正样本，除关注点以外的像素作为负样本；使用样本的标签以及样本的特征、通过机器学习的方法训练出支持向量机分类器；这样，对于任意给定的交通驾驶视频，在提取了物体级别特征和运动特征以后，将这些特征输入到训练好的支持向量机分类器中，就可以预测出交通驾驶视频中的交通目标所在区域。

主权项

1.一种基于交通视频数据图像的确定交通目标所在区域的方法，其特征在于步骤如下：步骤1、提取基于物体的特征：步骤a：训练目标检测模板：利用Pedro Felzenszwalb在2010年发布的可变局部模型算法，训练交通目标检测模板；所述Pedro Felzenszwalb在2010年公布的可变局部模型算法见论文Object Detection with Discriminatively Trained Part-Based Models；步骤b：用步骤a训练好的模板，对图像进行滤波，具体过程为：首先利用下采样技术得到每一幅输入图像在4个不同尺度上的图像，将这4幅各自位于4个不同尺度上的图像与步骤a训练好的所有模板逐个进行卷积计算，得到4幅响应图像；接下来，将这4幅响应图像进行线性插值，使其变换到相同尺寸；然后找出每个像素在这4幅响应图上的最大响应值、组成一幅最大响应图，求最大响应图里的像素平均值，作为此幅图像关于当前这个模板的特征值；对步骤a训练得到的12个模板，逐一按照上述方法进行滤波，就得到了分别对应这个12个模板的12个特征值，将这12个特征值线性连接成一个12维的特征向量，代表基于物体的特征；步骤2、提取运动特征：步骤a：构造三维高斯滤波器，并与原始视频I进行卷积：定义采样频率S_r＝0.5，在采样区间[-3，3]之间按照采样频率进行采样，获得采样值i＝-1，-2.5，-1，...2，2.5，3；定义权值C＝0.184，利用采样值i，计算出以下5个滤波器常量f₁，f₂，...，f₅：f2=ie-i2,]]>f3=-4C(2i2-1)e-i2,]]>f4=e-i2,]]>f5=-8Cie-i2,]]>其中，e代表指数函数；依次在x，y，z三个方向上、使用不同的滤波器常量f_i，i∈{1，2，3，4，5}，对原始视频I进行卷积运算，得出10段卷积视频I_a，I_b，...，I_j，其中z表示时间轴，x，y组成的平面为单帧图像所在平面，x代表图像平面的横轴，y代表图像平面的纵轴，具体实现过程如下：I'_a＝ζ(I，f₁|x)，I''_a＝ζ(I'_a，f₄|y)，I_a＝ζ(I''_a，f₄|z)I'_b＝ζ(I，f₃|x)，I''_b＝ζ(I'_b，f₂|y)，I_b＝ζ(I''_b，f₄|z)I'_c＝ζ(I，f₂|x)，I''_c＝ζ(I'_c，f₃|y)，I_c＝ζ(I''_c，f₄|z)I'_d＝ζ(I，f₄|x)，I''_d＝ζ(I'_d，f₁|y)，I_d＝ζ(I''_d，f₄|z)I'_e＝ζ(I，f₃|x)，I''_e＝ζ(I'_e，f₄|y)，I_e＝ζ(I''_e，f₂|z)I'_f＝ζ(I，f₅|x)，I''_f＝ζ(I'_f，f₂|y)，I_f＝ζ(I''_f，f₂|z)I'_g＝ζ(I，f₄|x)，I''_g＝ζ(I'_g，f₃|y)，I_g＝ζ(I''_g，f₂|z)I'_h＝ζ(I，f₂|x)，I''_h＝ζ(I'_h，f₄|y)，I_h＝ζ(I''_h，f₃|z)I'_i＝ζ(I，f₄|x)，I''_i＝ζ(I_i'，f₂|y)，I_i＝ζ(I''_i，f₃|z)I'_j＝ζ(I，f₄|x)，I''_j＝ζ(I'_j，f₄|y)，I_j＝ζ(I''_j，f₁|z)其中，ζ代表进行卷积运算，ζ(I，f₁|x)表示将视频I与滤波器常量f₁做卷积，并且卷积运算的方向沿着z轴方向，I'_a，I'_b，...，I'_j代表用不同的滤波器常量与原始视频I沿着x方向做卷积以后得到的视频数据，I''_a，I''_b，...，I''_j代表用不同的滤波器常量与视频I'_a，I'_b，...，I'_j沿着y方向做卷积以后得到的视频数据，I_a，I_b，...，I_j代表用不同的滤波器常量与视频I''_a，I''_b，...，I''_j沿着z方向做卷积以后得到的视频数据；步骤b：生成上、下、左、右和闪烁这5个方向量i∈V={上，下，左，右，闪烁}，定义如下：步骤c、计算在方向上的总能量由对应4个子方向的4个子能量组成；设子方向为同时设置一个周向量A＝[0，1，0]；在每个子方向j＝0，1，2，3上，计算子能量的过程如下：首先计算卷积周向量N_a：并对卷积周向量N_a进行归一化，得到归一化卷积周向量然后计算二次卷积周向量N_b：接下来计算三角方向向量N^j：cos代表余弦三角函数，sin代表正弦三角函数，π代表圆周率；接下来计算方向向量O^j：其中，代表向量O^j在x方向的分量，代表向量O^j在y方向的分量，代表向量O^j在z方向的分量；并对O^j进行归一化，得到归一化方向向量其中，代表归一化方向向量在x方向的分量，代表归一化方向向量在y方向的分量，代表归一化方向向量在z方向的分量；最后计算在子方向j上的子能量EDj=(Ia·a3+Ib·3a2b+Ic·3ab2+Id·b3+Ie·3a2c+]]>If·6abc+Ig·3b2c+Ih·ac2+Ii·3abc2+Ij·c3)2]]>其中，I_a，I_b，...，I_j为步骤a计算出的视频数据；最终对四个子方向的能量求和，得到方向上的总能量步骤d：计算在方向上的运动特征对于，首先对步骤c计算出的5个方向能量i∈V＝{上，下，左，右，闪烁}，进行高斯滤波，并用表示高斯滤波后的能量，其中高斯滤波器的方差为1；称数值最大的为定义能量补偿项c：则不同方向总能量为其中，V＝{上，下，左，右，闪烁}；最后计算每个方向上的运动特征其中，i∈V＝{上，下，左，右，闪烁}；步骤3：进行眼动数据采集实验：邀请18位有经验的驾驶员，观看30段真实交通驾驶视频，并应用眼动追踪仪、同步记录驾驶员的眼睛关注点位置；步骤4：训练分类器：从视频库中随机选出24段视频用于训练，以步骤3中记录的眼睛关注点位置的像素为正样本，从非人眼关注的像素里随机选取与正样本数量等同的负样本；对于每一个正、负样本，用步骤1和步骤2所描述的方法分别提取基于物体的特征和运动特征，并将基于物体的特征和运动特征线性连接起来，组成完备的特征向量，将完备的特征向量和对应的正、负标签作为输入，学习得到一个支持向量机分类器；步骤5：利用步骤4得出的分类器预测交通视频中的交通目标所在区域：将视频库中剩下的6段视频用来测试，先用步骤1和步骤2所描述的方法分别提取基于物体的特征和运动特征，并将基于物体的特征和运动特征线性连接起来，组成完备的特征向量；将完备的特征向量输入到步骤4训练出的分类器中，即可预测出视频中每个像素的显著值；然后对每帧图像进行二值化，即：将所有像素的显著值按照从大到小的顺序进行排序，然后令显著值排在前35%的像素值为1，令剩下的像素值为0；二值图里值为1的像素所组成的区域就是交通目标所在区域。