[发明专利]稠密深度图生成方法及系统

说明书

本发明提出了一种稠密深度图生成方法及系统。该方法为：将RGB彩色图片于深度学习网络模型中对其进行实例分割学习得到物体边缘特征、进行语义分割学习得到场景与物体之间的边缘特征；重新预测目标物体及目标物体之间的关系、场景与物体之间的位置关系；对物体边缘特征以及初步稠密深度图进行信息融合互补学习，得到边缘距离场；将稀疏深度图、图像置信度以及边缘距离场输入一层次化多尺度网络结构中，对深度图边缘特征进行修补；将修补后的深度图输入一多尺度优化模块中进行深度图边缘特征优化，得到最终的稠密深度图。该方法得到的稠密深度图精度较高。

技术领域

本发明涉及图像处理领域，具体涉及一种稠密深度图生成方法及系统。

背景技术

深度图是一种常见的3D场景信息表达方式，也被称为距离影像，它的每个像素值表示的是图像采集器到场景中各个位置的距离。当前，获取场景中的深度信息主要有被动和主动两种获取方式。借助于双目相机来获取场景的深度信息是一种最常见的被动深度信息获取方式。但是由于使用双目相机测距存在系统稳定性差、计算复杂等问题，这些问题都限制了双目相机测距技术的实际应用。主动深度信息获取方式的原理是使用传感器自身的光源，通过向空间中发射激光或者射线，从而采集到场景的深度信息。与被动式深度信息获取方式相比其获取深度信息的速度更快，结果更精确，因此得到了广泛的应用。

无论是室内(如Kinect深度传感器)还是室外(Li DAR激光雷达)的深度图的获取，受限于设备自身性能的影响，其在单位时间内扫描的点数是有限的。把激光雷达捕获的3D点云投影到图像平面上时，生成的深度图像是不均匀并且稀疏的，深度信息以离散的点的形式表现，许多区域的深度值缺失。对于这种绝大多数区域深度信息缺失的图像，称为稀疏深度图像。

目前廉价地获得稠密并且精确的深度图的方案还未出现。如何将来自低成本激光雷达的稀疏深度图进行修补，从而生成稠密的高质量深度图成为了一个值得研究的热点。

稀疏深度图修补的目标是生成稠密、精确的深度图。目前稀疏深度图修补任务的难点和挑战主要有深度边缘和RGB图像边缘不一致、深度边缘的精确定位、不同远近区域深度特征差异大等。现有技术对深度边缘和RGB图像边缘、深度图边缘的提取都是基于卷积神经网络，得到的边缘信息不完全，在没有人为的干涉下，很难猜测出是什么边缘。

发明内容

为了克服上述现有技术中存在的缺陷，本发明的目的是提供一种稠密深度图生成方法及系统。

为了实现本发明的上述目的，本发明提供了一种稠密深度图生成方法，包括以下步骤：

获取RGB彩色图片以及RGB彩色图片的稀疏深度图，计算RGB彩色图片的图像置信度，根据稀疏深度图得到初步稠密深度图；

将所述RGB彩色图片于深度学习网络模型中进行RGB图像边缘特征提取，其中包括对RGB彩色图片进行实例分割学习得到物体边缘特征、对RGB彩色图片进行语义分割学习得到场景与物体之间的边缘特征；

从所述物体边缘特征中抽出目标物体之间的所有可能的关系，基于图神经网络重新预测目标物体及目标物体之间的关系；从所述场景与物体之间的边缘特征中抽出场景与物体之间的所有可能的位置关系，基于图神经网络重新预测场景与物体之间的位置关系；

对所述物体边缘特征以及初步稠密深度图进行信息融合互补学习，得到边缘距离场；

将稀疏深度图、图像置信度以及边缘距离场输入一层次化多尺度网络结构中，对深度图边缘特征进行修补；

将修补后的深度图输入一多尺度优化模块中进行深度图边缘特征优化，得到最终的稠密深度图。