[发明专利]图像处理方法及装置、电子设备和存储介质

说明书

本公开涉及一种图像处理方法及装置、电子设备和存储介质，其中所述方法包括：获取彩色图像以及所述彩色图像对应的第一深度图和第二深度图；对所述第一深度图执行第一处理操作，得到不同尺度的深度置信度图，所述深度置信度图表示各像素点的深度值的置信度或者各像素点优化后的深度掩码；对所述第二深度图执行第二处理操作，得到与各所述深度置信度图对应尺度的第三深度图，并利用相同尺度的第三深度图和深度置信度图相乘得到深度置信特征图；基于所述深度置信特征图得到所述彩色图像对应的表面法向量图。本公开能够提高获得的表面法向量的精度。

技术领域

本公开涉及图像处理领域，特别涉及一种图像处理方法及装置、电子设备和存储介质。

背景技术

表面法向量(surface normal)预测是计算机视觉及场景理解领域的基础问题。现有的表面法向量预测技术大多是基于单一RGB图像(彩色图像)的输入。尽管这类方法可以得到大致正确的结果，但是会有明显的细节丢失，并且在一些过暗和过亮的地方容易产生错误结果。

随着RGB-D相机的普及，同时获取RGB图像和深度图像变得更加容易，于是基于RGB-D输入的一类方法应运而生。该方法可以从深度图像计算出表面法向量，在深度信息质量高的区域可以获得较高的表面法向量精度。然而在光滑、透明、位于远处的表面上，传感器无法感知深度，获得的深度图存在空洞，导致无法得到完整的法向量图。即使使用深度修补的技术将RGB信息用于深度的补全，仍然无法解决面积较大的深度空洞情况。

发明内容

本公开实施例提供了一种能够提高获得的表面法向量的精度的图像处理方法及装置、电子设备和存储介质。

根据本公开的一方面，提供了一种图像处理方法，其包括：

获取彩色图像以及所述彩色图像对应的第一深度图和第二深度图，所述第一深度图为与所述彩色图像对应的具有深度掩码的深度图，所述第二深度图为与所述彩色图像对应的表示深度信息的深度图，所述深度掩码表示对应的像素点是否具有深度值；

对所述第一深度图执行第一处理操作，得到不同尺度的深度置信度图，所述深度置信度图表示各像素点的深度值的置信度或者各像素点优化后的深度掩码；

对所述第二深度图执行第二处理操作，得到与各所述深度置信度图对应尺度的第三深度图，并利用相同尺度的第三深度图和深度置信度图相乘得到深度置信特征图；

基于所述深度置信特征图得到所述彩色图像对应的表面法向量图。

在一些可能的实施方式中，所述对所述第一深度图执行第一处理操作，得到不同尺度的深度置信度图，包括：

对所述第一深度图执行至少一次卷积处理，通过最后一次卷积处理得到第一尺度的深度置信度图；

对所述第一尺度的深度置信度图执行至少一次池化处理，通过每次池化处理得到其他尺度的深度置信度图，并且每次池化处理得到的深度置信度图的尺度不同。

在一些可能的实施方式中，所述对所述第二深度图执行第二处理操作，得到与各所述深度置信度图对应尺度的第三深度图，包括：

对所述第二深度图执行至少一次第一编码处理，通过各第一编码处理得到不同尺度的第一编码特征图；

对最后一次第一编码处理得到的第一编码特征图执行至少一次第一解码处理，得到与各深度置信度图尺度相同的所述第三深度图。

在一些可能的实施方式中，所述对所述第二深度图执行至少一次第一编码处理，通过各第一编码处理得到不同尺度的第一编码特征图，包括：

对所述第二深度图执行第一次第一编码处理，所述第一次第一编码处理包括卷积处理；

对经过第一次第一编码处理得到的深度图执行其余的第一编码处理，所述其余的第一编码处理包括池化处理和卷积处理，