[发明专利]深度图优化方法、装置、电子设备及存储介质

说明书

本公开提供了一种深度图优化方法、装置、电子设备及存储介质，该方法包括：获取目标图像和所述目标图像对应的待优化深度图；利用训练后的用于进行深度图优化的目标神经网络，对所述待优化深度图和所述目标图像进行特征提取，生成噪声图；其中，所述噪声图用于表征所述待优化深度图对应的噪声信息和/或深度缺失信息；利用所述目标神经网络和所述噪声图，对所述待优化深度图进行优化处理，得到目标深度图。

技术领域

本公开涉及深度学习技术领域，具体而言，涉及一种深度图优化方法、装置、电子设备及存储介质。

背景技术

深度图像可以被称为距离影像，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，其中，深度图在虚拟现实和场景重建等应用场景中起到至关重要的作用。

一般的，可以使用深度相机获取深度图像，或者也可以使用三维视觉计算的方式获取深度图像。但是，由于受到纹理、反射条件、物体材质等因素的影响，会造成获取的深度图像的准确度较低。

发明内容

有鉴于此，本公开至少提供一种深度图优化方法、装置、电子设备及存储介质。

第一方面，本公开提供了一种深度图优化方法，包括：

获取目标图像和所述目标图像对应的待优化深度图；

利用训练后的用于进行深度图优化的目标神经网络，对所述待优化深度图和所述目标图像进行特征提取，生成噪声图；其中，所述噪声图用于表征所述待优化深度图对应的噪声信息和/或深度缺失信息；

利用所述目标神经网络和所述噪声图，对所述待优化深度图进行优化处理，得到目标深度图。

上述方法中，通过利用目标神经网络，对待优化深度图和目标图像进行特征提取，生成噪声图，该噪声图可以用于表征待优化深度图中包含的噪声信息和/或深度缺失信息，进而可以利用目标神经网络和噪声图，对待优化深度图进行优化处理，比如，可以消除待优化深度图中的噪声信息，和/或补充待优化深度图中缺失的深度信息，得到精准度较高的目标深度图。

一种可能的实施方式中，所述利用所述目标神经网络和所述噪声图，对所述待优化深度图进行优化处理，得到目标深度图，包括：

利用所述目标神经网络对所述噪声图和所述待优化深度图进行特征提取，生成目标特征图；其中，所述目标特征图用于消除所述待优化深度图中的噪声信息，和/或，用于补充所述待优化深度图中的深度信息；

利用所述目标特征图对所述待优化深度图进行优化处理，生成所述目标深度图。

采用上述方法，通过生成目标特征图，该目标特征图能够消除待优化深度图中的噪声信息和/或能够补充待优化深度图中的深度信息，在利用目标特征图对待优化深度图进行优化处理，生成精准度较高的目标深度图。

一种可能的实施方式中，所述利用所述目标神经网络对所述噪声图和所述待优化深度图进行特征提取，生成目标特征图，包括：

利用所述目标神经网络对所述噪声图和所述待优化深度图进行特征提取，生成多个不同尺寸的第一特征图；

将最小尺寸的第一特征图作为待处理特征图，对所述待处理特征图进行特征采样，生成第二特征图；其中，所述特征采样包括卷积处理和/或特征上采样；

基于所述第二特征图和与所述第二特征图尺寸一致的第一特征图，生成第三特征图；

将所述第三特征图作为更新后的待处理特征图，返回至对所述待处理特征图进行特征采样，生成第二特征图的步骤，直至生成的所述第三特征图的尺寸与第一特征图对应的最大尺寸一致，并将最大尺寸对应的第三特征图确定为所述目标特征图。