[发明专利]基于车载双目相机的交通场景参与者识别方法

摘要

本发明涉及一种基于车载双目相机的交通场景参与者识别方法，解决了现有技术的不足，技术方案为：通过双目系统进行数据获取，其特征在于：包括以下步骤：步骤一：车载双目相机获取当前道路图像，精细图像预处理以及双目视差匹配代价计算；步骤二：进行纵向路面参数估计，获取地平线以及路面范围信息；步骤三：利用视差匹配代价确定潜在障碍物的位置以及尺寸信息；步骤四：利用深度卷积神经网络描述障碍物特征信息，在特征图谱的输出基础上利用softmax分类器验证障碍物检测区域并确定障碍物的种类。利用轮廓以及纹理信息之外，还可以额外利用视差信息，识别准确率远高于浅层识别方法。

主权项

1.一种基于车载双目相机的交通场景参与者识别方法，通过双目系统进行数据获取，其特征在于：包括以下步骤：步骤一：车载双目相机获取当前道路图像，精细图像预处理以及双目视差匹配代价计算；步骤二：进行纵向路面参数估计，获取地平线以及路面范围信息；步骤三：利用视差匹配代价确定潜在障碍物的位置以及尺寸信息；步骤四：利用深度卷积神经网络描述障碍物特征信息，在特征图谱的输出基础上利用softmax分类器验证障碍物检测区域并确定障碍物的种类；在所述步骤一中，车载双目相机获取RGB格式双目图像，对图像进行预处理，包括降噪、除畸变以及立体矫正，对预处理后的图片中每个像素点(u，v)对应的视差d，计算基于灰度值绝对值之差的匹配代价Cm(u，v，d)，其中u，v，d的范围均为设定参数；在所述步骤二中，进行纵向路面参数估计，包括以下子步骤：纵向路面参数估计子步骤一：对视差匹配代价向图像纵轴即v轴进行投影求和，计算图像每一行v值对应视差代价之和的最小值Cv；纵向路面参数估计子步骤二：通过设定视差代价阈值Td，得出每行对应视差代价之和小于Cv加Td所对应的视差值d，通过v‑d映射得到v‑视差图；纵向路面参数估计子步骤三：将v‑视差图投影到现实坐标系高度与深度的映射，利用B‑样条曲线拟合路面高度与深度关系，最后逆映射回v‑视差图平面，获得纵向道路平面对应的v‑视差图；v‑视差图中，通过视差d＝0得到地平线vo，通过视差d＞0对应的图像区域为纵向路面的路面范围参数；在所述步骤三中，包括以下子步骤：障碍物区域提取子步骤一：在确定的路面范围内，利用v‑视差图中每一行v值与对应路面视差d的双向映射关系，计算障碍物‑道路交线匹配代价C_Boundary；障碍物‑道路交线匹配代价由道路匹配代价与物体匹配代价两部分组成，其中道路匹配代价v与d符合v‑视差图的映射关系f：v<‑>d，而物体匹配代价每一行则对应相同的视差d，其具体计算公式如下：其中，h为图像高度；利用2维动态规划法确定障碍物‑道路交线匹配代价C_Boundary最小值所对应的像素值(u_bot，v_bot)集合即为障碍物与道路的交线，每一列u值对应的视差值为d_Boundary(u)；障碍物区域提取子步骤二：在障碍物‑道路交线以上部分，计算障碍物高度匹配代价CHeight，通过预设的概率函数m(u，v)计算Cm(u，v，dBoundary(u))为区域极值的可能性，该值介于‑1与1之间，通过障碍物高度匹配代价计算式：利用2维动态规划方法确定障碍物高度匹配代价CHeight最小值所对应的像素值(ui，vi)集合即为与障碍物与道路的交线对应的障碍物高度信息；障碍物区域提取子步骤三：过滤障碍物的高度、宽度以及深度信息：设置障碍物宽度，高度，深度阈值模块，过滤图像中相邻的障碍物区域，确定属于同一障碍物的图像区域。