[发明专利]基于单目视觉与激光雷达融合的道路可行驶区域检测方法

摘要

本发明公开了一种基于单目视觉与激光雷达融合的道路可行驶区域检测方法，属于智能交通领域。现有的无人车道路检测方法主要是基于单目视觉、立体视觉、激光传感器和多传感器融合等的方法，存在对光照不鲁棒、三维匹配复杂、激光稀疏和整体融合效率低等缺点。一些有监督的方法虽然取得较好的精度，但训练过程复杂，泛化效果差。本发明提出的基于单目视觉与激光雷达融合的道路可行驶区域检测方法，使用超像素与点云数据融合，利用特征使机器自学习出道路区域，通过贝叶斯框架融合各个特征得到的道路信息以确定最终区域。本方法不需要强假设信息和复杂训练过程，泛化性和鲁棒性优越，速度极快，精度极高，在实际应用中更加易于推广和使用。

主权项

1.一种基于单目视觉与激光雷达融合的道路可行驶区域检测方法，其特征在于：首先，该融合的方法使用超像素与激光点云数据的融合，将点云数据按照激光参数标定投影到超像素分割后的图片上；所述超像素与激光点云数据融合具体步骤如下：利用线性迭代聚类对相机采集的图片进行超像素分割，将图片分割为N个超像素，每个超像素p_c＝(x_c,y_c,z_c,1)^T包含若干个像素点，其中x_c,y_c,z_c表示该超像素内所有像素点的相机坐标系下的位置信息的平均值，同时，这些像素点的RGB均统一为该超像素内所有像素点的平均RGB，再利用标定技术将激光雷达获得的每一点p_l＝(x_l,y_l,z_l,1)^T投影到超像素分割后的图片上，激光与点云融合中，提出了共点约束，共点约束指，在超像素与激光点云数据融合的过程中只保留在超像素边缘附近的激光点，最终得到点集其中P_i＝(x_i,y_i,z_i,u_i,v_i)，x_i,y_i,z_i表示该点的激光坐标系下的位置信息的，(u_i,v_i)表示该点对应的相机坐标系下的位置信息。其次，运用三角剖分寻找点的空间关系，根据得出的空间关系三角形建立无向图和并计算每一点的法向量，根据无向图分类障碍点；然后，采用基于最小滤波的方法找到道路区域的初始备选区域，进一步缩小道路区域的检测范围；通过定义新的特征level从深度信息方面数值化各点的可行驶程度，另外，融合方法还利用一种无监督的融合方法，即基于自学习的贝叶斯框架，融合各个特征，即颜色特征，level特征，法向量特征，强度特征学习到的备选道路区域的概率信息；level特征表示对应点的可行驶程度，计算过程如下：1)对于中的第i个点，初始化第h角度的所有点的level特征其中是点集的真子集，其中表示第i个点属于第h角度；2)对于中的第i个点，定义ob(P_i)为点P_i周围表面的平坦程度，则表示该点为障碍点，反之为0，如果ob(P_i^(h))＝1，在初始化基础上不断更新为原来的值加上相邻2点P_i^(h)和的高度差，即3)如果i≤N^(h)，返回2；4)如果h＝H，结束；否则，返回1；并与超像素结合得到超像素S_i的level特征L(S_i)：其中S_i是超像素S_i所包含的所有像素点的集合，定义所述采用自学习贝叶斯框架来融合；具体步骤如下：采用四种特征进行自学习‑‑颜色特征，level特征，法向量特征，强度特征，首先，结合初始备选区域为分别利用这四种特征无监督地学习备选区域的概率；对于初始备选区域为中的超像素点S_i，S_i包含的每一个像素点P_i＝(x_i,y_i,z_i,u_i,v_i)的RGB值已经统一了，利用高斯参数μ_c和自学习颜色特征，公式如下：利用高斯参数μ_l和自学习超像素S_i的level特征L(S_i)的公式为：利用高斯参数μ_n和自学习超像素S_i的法向量特征N(S_i)的公式为：定义Sg(S_i)为穿过超像素S_i的射线ray的数量，自学习超像素S_i的强度特征Sg(S_i)的公式为：最后，建立贝叶斯框架融合4种特征，公式如下：其中，p(S_i＝R|Obs)表示超像素S_i属于道路区域的概率，Obs表示基于这四种特征的观测。