[发明专利]应用于单线激光雷达的深度补全方法

权利要求书

1.一种应用于单线激光雷达的深度补全方法，其特征在于，对KITTI 64线深度补全数据集处理得到单线深度补全数据集，并使用单线深度补全数据集训练双分支深度学习网络后，以对齐过的单线深度图与RGB图为神经网络的输入便能得到稠密深度图；

所述的处理是指：将现有的64线KITTI深度补全数据集中的64线稀疏深度图转换成单线深度图，从而得到单线深度补全数据集；

所述的双分支深度学习网络包括全局分支和局部分支，其中：全局分支利用RGB图像中的全局语义信息辅助预测物体的边界以找到深度相似的区域；局部分支聚焦于深度图中的有效值区域并预测有效值区域周围的深度的同时，利用全局分支提取的全局特征来修正稀疏深度图的内在误差；

所述的双分支深度学习网络，通过用于单线深度补全的组合损失函数训练，该组合损失函数由用于实现像素级约束的均方误差损失函数和用于实现三维几何约束的虚拟法线误差损失函数组成。

2.根据权利要求1所述的应用于单线激光雷达的深度补全方法，其特征是，所述的组合损失函数为L_Final＝L_MSE+λL_VN，其中：λ为权重参数，用于实现像素级约束的均方误差损失函数用于实现三维几何约束的虚拟法线误差损失函数N_p为真值深度图中有效深度值的像素数，和分别为预测深度图和真值深度图i处的深度值；N_n为随机采样出的虚拟平面数，和分别为预测深度图和真值深度图中的第i个虚拟平面的虚拟法线。

3.根据权利要求2所述的应用于单线激光雷达的深度补全方法，其特征是，所述的权重参数λ用来平衡二者数量级，取100。

4.根据权利要求1所述的应用于单线激光雷达的深度补全方法，其特征是，所述的64线深度补全数据集中每组数据包括：RGB图、对齐的64线稀疏深度图以及半稠密深度图；

所述的转换包括：

①将64线稀疏深度图转换为点云图；

②计算点云图中每个三维点的垂直角

③以0.4°为间隔将每个三维点的垂直角划分为64个级别，从而将每个三维点分配到对应的扫描线上；

④直接选取中间的扫描线生成单线深度图。

5.根据权利要求1所述的应用于单线激光雷达的深度补全方法，其特征是，所述的双分支深度学习网络具体包括：全局分支、局部分支和归一化层的双分支深度学习网络，其中：全局分支利用RGB图像中的全局语义信息辅助预测物体的边界以找到深度相似的区域；局部分支聚焦于深度图中的有效值区域并预测有效值区域周围的深度的同时，利用全局分支提取的全局特征来修正稀疏深度图的内在误差。

6.根据权利要求5所述的应用于单线激光雷达的深度补全方法，其特征是，所述的全局分支包括并联的两个编码器以及利用其输出融合的特征作为输入的解码器，该全局分支依靠RGB图像提供的全局语义信息，在远离单线深度图中有效值的区域能取得更好的结果，两个编码器分别输入RGB图和单线深度图并将提取的特征融合后由解码器生成全局深度图、全局置信度图和全局特征。

7.根据权利要求5所述的应用于单线激光雷达的深度补全方法，其特征是，所述的局部分支包括：依次串联的两组编码器-解码器，该局部分支接收融合后的全局特征与单线深度图生成局部置信度图与局部深度图，其中全局特征起到引导单线深度的作用，在单线深度图中接近有效值的区域，局部分支可以取得更好的效果。

8.根据权利要求5所述的应用于单线激光雷达的深度补全方法，其特征是，所述的归一化层对全局置信度图和局部置信度图通过Softmax函数做归一化得到全局权重图和局部权重图，分别用于对后续的全局深度图和局部深度图进行对应的权重加权求和，实现融合输出。