[发明专利]一种基于图像和点云融合网络的道路区域图像识别方法

说明书

本发明公开了一种基于图像和点云融合的道路区域图像识别方法。构建融合主干网络，提取原始图像和原始点云中的特征，并对这两种特征进行融合，获得融合后特征图；使用Upsampling、2D卷积层和ReLU激活函数层构建解码层，并以此构建解码网络，将融合后特征图输入到解码网络处理获得解码特征结果；针对解码特征结果使用逐点卷积运算，得到是否为道路区域分类类别。本发明解决了图像和点云直接融合的难题，将原始点云直接输入到道路区域网络中，不需要对点云做任何前处理操作，使得整个方法的运算量较低；对高精度地检测复杂环境中的道路区域能稳定精确地检测道路区域。

技术领域

本发明属于计算机视觉的领域的一种道路图像识别方法，涉及一种基于图像和点云融合网络的道路区域图像识别方法。

背景技术

无人驾驶车辆需要对交通环境中的道路区域进行识别，从而进一步规划自身行驶轨迹。在多样的复杂交通环境中，由于交通场景的多样性、交通参与者的多样性、光照条件的多样性等因素使得准确地识别道路区域非常困难的。

随着深度卷积神经网络技术的发展，该技术被成功的应用在各种任务中，也包括道路区域识别任务。该类方法(典型代表：G.L.Oliveira,W.Burgard and T.Brox,Efficient deep models for monocular road segmentation,2016IEEE/RSJInternational Conference on Intelligent Robots and Systems(IROS),Daejeon,Korea(South),2016,pp.4885-4891)一般使用单目相机拍摄的RGB图像作为输入，使用深度卷积神经网络作为特征提取器和分类器，对图像中的每个像素都分类为“道路”或者“非道路”两个类别。通过将分类为“道路”类别的像素连接起来，形成一个连通的区域，得到最终在图像中所识别的道路区域。但此类方法面临着仅依赖RGB图像难以应对室外光照条件多变的挑战，例如在白天晴天条件下训练的神经网络往往在雨天或者夜间就很难起到效果。

为了解决这一问题，另一类方法采取同时利用单目相机拍摄的RGB图像和激光雷达扫描的点云的两种信息作为输入，通过设计融合图像和点云信息的神经网络来提升对道路区域识别的准确性。该类方法(典型代表：Z.Chen,J.Zhang and D.Tao,ProgressiveLiDAR adaptation for road detection,in IEEE/CAA Journal of AutomaticaSinica,vol.6,no.3,pp.693-702,May 2019)对点云信息先投影到2D平面，然后进行栅格化，通过对每个栅格构造人工特征，将点云信息表示成伪图像的形式。然后使用2D卷积操作提取特征点云并与从RGB图像中提取的特征进行融合。但此类方法均需要将点云转为伪图像的形式，在这个转换中丢失点云的原有结构，而且增加了操作，对道路识别的算法的精度和效率都有影响。

发明内容

为了突破以往图像和点云融合技术需要将点云转为伪图像的限制，针对复杂的室外场景，本发明提出了一种基于图像和点云融合网络的道路区域图像识别方法。

如图1所示，本发明采用的技术方案是：

1)构建融合主干网络，提取原始图像和原始点云中的特征，并对这两种特征进行融合，获得融合后特征图；

2)然后使用Upsampling、2D卷积层和ReLU激活函数层构建解码层，并以此构建密集连接的解码网络，解码网络用于恢复特征的分辨率，将融合后特征图输入到解码网络处理获得解码特征结果；

本发明利用解码网络提升图像信息分辨率对道路区域进行识别。具体是对图像特征进行解码，恢复特征尺寸至输入图像大小。

3)最后针对解码特征结果使用逐点卷积运算，得到原始图像中每个像素为“道路”或者“非道路”的分类类别。使用逐点卷积和特征检测图像中属于道路的像素。

所述步骤1)具体为：