[发明专利]图像处理方法及装置、电子设备和存储介质

权利要求书

1.一种图像处理方法，其特征在于，包括：

获取彩色图像以及所述彩色图像对应的第一深度图和第二深度图，所述第一深度图为与所述彩色图像对应的具有深度掩码的深度图，所述第二深度图为与所述彩色图像对应的表示深度信息的深度图，所述深度掩码表示对应的像素点是否具有深度值；

对所述第一深度图执行第一处理操作，得到不同尺度的深度置信度图，所述深度置信度图表示各像素点的深度值的置信度或者各像素点优化后的深度掩码；

对所述第二深度图执行第二处理操作，得到与各所述深度置信度图对应尺度的第三深度图，并利用相同尺度的第三深度图和深度置信度图相乘得到深度置信特征图；

基于所述深度置信特征图得到所述彩色图像对应的表面法向量图。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一深度图执行第一处理操作，得到不同尺度的深度置信度图，包括：

对所述第一深度图执行至少一次卷积处理，通过最后一次卷积处理得到第一尺度的深度置信度图；

对所述第一尺度的深度置信度图执行至少一次池化处理，通过每次池化处理得到其他尺度的深度置信度图，并且每次池化处理得到的深度置信度图的尺度不同。

3.根据权利要求1或2所述的方法，其特征在于，所述对所述第二深度图执行第二处理操作，得到与各所述深度置信度图对应尺度的第三深度图，包括：

对所述第二深度图执行至少一次第一编码处理，通过各第一编码处理得到不同尺度的第一编码特征图；

对最后一次第一编码处理得到的第一编码特征图执行至少一次第一解码处理，得到与各深度置信度图尺度相同的所述第三深度图。

4.根据权利要求3所述的方法，其特征在于，所述对所述第二深度图执行至少一次第一编码处理，通过各第一编码处理得到不同尺度的第一编码特征图，包括：

对所述第二深度图执行第一次第一编码处理，所述第一次第一编码处理包括卷积处理；

对经过第一次第一编码处理得到的深度图执行其余的第一编码处理，所述其余的第一编码处理包括池化处理和卷积处理，

其中通过各次第一编码处理得到的第一编码特征图的尺度不同。

5.根据权利要求3所述的方法，其特征在于，所述对最后一次第一编码处理得到的第一编码特征图执行至少一次第一解码处理，得到与各深度置信度图尺度相同的所述第三深度图，包括：

对最后一次第一编码处理得到的第一编码特征图执行第一次第一解码处理，得到所述第一次第一解码处理对应的第三深度图，所述第一次第一解码处理包括反卷积处理；

对经过第一次第一解码处理得到的第三深度图执行其余的第一解码处理，得到其他尺度的第三深度图，所述其余的第一解码处理包括上采样处理和反卷积处理。

6.根据权利要求5所述的方法，其特征在于，所述对经过第一次第一解码处理得到的第三深度图执行其余的第一解码处理，包括：

对第i次第一解码处理得到的第三深度图执行上采样处理，得到上采样后的第三深度图；

将该上采样后的第三深度图与相同尺度的第一编码特征图连接，得到第一连接特征图；

对所述第一连接特征图执行反卷积处理，得到第i+1次解码处理对应的第三深度图，其中i为大于或者等于1且小于或者等于N的正整数，N表示解码处理的次数。

7.根据权利要求1所述的方法，其特征在于，所述利用相同尺度的第三深度图和深度置信度图相乘得到深度置信特征图，包括：

将各所述深度置信度图分别经过复制层的复制处理，所述复制处理包括至少复制一次所述深度置信度图中的各通道特征；

将经复制处理后的各深度置信度与尺度相同的第三深度图相乘，得到对应尺度的深度置信特征图。

8.根据权利要求1所述的方法，其特征在于，所述基于所述深度置信特征图得到所述彩色图像的表面法向量图，包括：

基于所述深度置信特征图对所述彩色图像执行第三处理操作，得到融合特征图；

对所述融合特征图执行第四处理操作，得到所述彩色图像对应的表面法向量图。