[发明专利]应用于单线激光雷达的深度补全方法

说明书

一种应用于单线激光雷达的深度补全方法，对KITTI 64线深度补全数据集处理得到单线深度补全数据集，并使用单线深度补全数据集训练双分支深度学习网络后，以RGB图与对齐过的单线深度图为神经网络的输入便能得到稠密深度图。本发明通过单线激光雷达来替换64线激光雷达实现深度补全，显著降低稠密深度图的获取成本，不仅能应用于单线激光雷达，同时可以应用于任意n线(n≤64)激光雷达，如4线激光雷达、16线激光雷达等。

技术领域

本发明涉及的是一种图像处理领域的技术，具体是一种应用于单线激光雷达的深度补全方法。

背景技术

近年来，准确而稠密的深度图在各类任务中都变得愈发重要，例如在增强现实、无人机、机器人控制和自动驾驶等领域中。然而在室外环境中，如近红外、结构光等传感器都将因为室外环境干扰强和距离远而失效。而激光雷达凭借其抗干扰性强与测量距离远成为目前室外环境的主流测量手段。但激光雷达有限的扫描线将导致其获取深度图的高稀疏性，以目前的Velodyne HDL-64E(64线激光雷达)为例，其获取深度图中的有效值大约只有4％。如此稀疏的深度图对实际应用而言是远远不够。所以如何凭借现有激光雷达的稀疏深度图来生成准确而稠密的深度图就变成目前一大研究热点。

现有技术在室外环境中，只能获取稀疏的深度图，目前的主流方案都是使用64线激光雷达配合RGB相机来获取数据，之后再使用二者的数据来生成稠密深度图，即深度补全。64线激光雷达代表此类激光雷达使用64条扫描线。近年来随着深度学习的兴起，越来越多的团队开始尝试使用神经网络来实现深度补全。具体来说，此类方案会使用64线激光雷达与RGB相机分别获取64线稀疏深度图与RGB彩色图片，并将二者对齐。之后将二者作为输入送入训练好的神经网络中生成稠密深度图。由于神经网络训练数据与检测准确率有密切关系，现有的训练数据集如KITTI采用64线深度图，其导致系统在使用时必须使用64线激光雷达，严重限制应用范围。

发明内容

本发明针对现有技术存在的上述不足，提出一种应用于单线激光雷达的深度补全方法，通过单线激光雷达来替换64线激光雷达实现深度补全，显著降低稠密深度图的获取成本，不仅能应用于单线激光雷达，同时可以应用于任意n线(n≤64)激光雷达，如4线激光雷达、16线激光雷达等。

本发明是通过以下技术方案实现的：

本发明涉及一种应用于单线激光雷达的深度补全方法，对KITTI 64线深度补全数据集处理得到单线深度补全数据集，并使用单线深度补全数据集训练双分支深度学习网络后，以对齐过的单线深度图与RGB图为神经网络的输入便能得到稠密深度图。

所述的处理是指：将现有的64线KITTI深度补全数据集中的64线稀疏深度图转换成单线深度图，从而得到单线深度补全数据集。

所述的双分支深度学习网络包括全局分支和局部分支，其中：全局分支利用RGB图像中的全局语义信息辅助预测物体的边界以找到深度相似的区域；局部分支聚焦于深度图中的有效值区域并预测有效值区域周围的深度的同时，利用全局分支提取的全局特征来修正稀疏深度图的内在误差。

所述的双分支深度学习网络，通过用于单线深度补全的组合损失函数训练，该组合损失函数为L_Final＝L_MSE+λL_VN，其中：λ为权重参数，用于实现像素级约束的均方误差损失函数用于实现三维几何约束的虚拟法线误差损失函数N_p为真值深度图中有效深度值的像素数，和分别为预测深度图和真值深度图i处的深度值；N_n为随机采样出的虚拟平面数，和分别为预测深度图和真值深度图中的第i个虚拟平面的虚拟法线。

所述的权重参数λ用来平衡二者数量级，优选取100。

技术效果