[发明专利]稀疏深度图的深度补全方法、计算机装置和存储介质

说明书

本发明公开了一种稀疏深度图的深度补全方法、计算机装置和存储介质，深度补全方法中对对神经网络进行训练的过程包括获取彩色图像和深度图真值，对深度图真值进行等距采样获得稀疏深度图，从彩色图像和稀疏深度图提取得到多尺度特征图，对多尺度特征图回归得到初始深度图，计算像素相关性，对初始深度图进行多次迭代滤波获得稠密深度图，对稠密深度图执行多轮迭代处理过程以训练图像一致性优化模块等步骤。本发明对神经网络进行训练，可以改善图像一致性优化模块对稠密深度图的边界处像素深度的预测效果，使得图像一致性优化模块具有根据稠密深度图预测其像素点深度的能力，从使得神经网络具有深度补全的能力。本发明广泛应用于图像处理技术领域。

技术领域

本发明涉及图像处理技术领域，尤其是一种稀疏深度图的深度补全方法、计算机装置和存储介质。

背景技术

深度感知是三维视觉的基础任务，通过深度感知可以获取图像中各个像素点表示的物体上的点与某个参考平面的距离，从而为自动驾驶控制、机器人、增强现实等方面的应用提供重要的控制参量。深度感知技术在近年来取得快速发展，但如何低成本地获取高精度、高分辨率的深度图仍然是一个富有挑战性的任务。低成本、低功耗的深度传感器通常只能获取低分辨率、十分稀疏的深度图，缺失大量像素点的深度信息，而实际应用中需求的是稠密深度图。

术语解释：

深度图：指将从图像采集器到场景中各点的距离(深度)作为像素值的图像；

稀疏深度图：是部分像素值有明确的深度值的深度图，相对于稠密深度图而言，稀疏深度图中有明确的深度值的像素数占全部像素的比例较低；

稠密深度图：是部分或全部像素值有明确的深度值的深度图，相对于稀疏深度图而言，稠密深度图中有明确的深度值的像素数占全部像素的比例较高。

发明内容

针对目前的深度感知技术中所获得的稀疏深度图不能满足实际应用对稠密深度图的需求等至少一个技术问题，本发明的目的在于提供一种稀疏深度图的深度补全方法、计算机装置和存储介质。

一方面，本发明实施例包括一种神经网络训练方法，所述稀疏深度图的深度补全方法包括：

对神经网络进行训练；所述神经网络包括第一编码网络、第一解码网络、像素相关性计算模块、像素相关性优化模块和图像一致性优化模块；

获取待处理图像；

使用经过训练的所述神经网络，对所述待处理图像进行深度补全；

所述对神经网络进行训练，包括：

获取彩色图像；

获取所述彩色图像对应的深度图真值；

对所述深度图真值进行等距采样，获得稀疏深度图；

所述第一编码网络从所述彩色图像和所述稀疏深度图提取得到多尺度特征图；所述多尺度特征图包括多个不同尺度的特征信息；

所述第一解码网络对所述多尺度特征图回归得到初始深度图；

所述像素相关性计算模块根据所述多尺度特征图计算像素相关性；所述像素相关性表示所述彩色图像中各像素与相邻像素之间的相关程度；

所述像素相关性优化模块对所述初始深度图进行多次迭代滤波，获得稠密深度图；