[发明专利]深度图优化方法、装置、电子设备及存储介质

权利要求书

1.一种深度图优化方法，其特征在于，包括：

获取目标图像和所述目标图像对应的待优化深度图；

利用训练后的用于进行深度图优化的目标神经网络，对所述待优化深度图和所述目标图像进行特征提取，生成噪声图；其中，所述噪声图用于表征所述待优化深度图对应的噪声信息和/或深度缺失信息；

利用所述目标神经网络和所述噪声图，对所述待优化深度图进行优化处理，得到目标深度图。

2.根据权利要求1所述的方法，其特征在于，所述利用所述目标神经网络和所述噪声图，对所述待优化深度图进行优化处理，得到目标深度图，包括：

利用所述目标神经网络对所述噪声图和所述待优化深度图进行特征提取，生成目标特征图；其中，所述目标特征图用于消除所述待优化深度图中的噪声信息，和/或，用于补充所述待优化深度图中的深度信息；

利用所述目标特征图对所述待优化深度图进行优化处理，生成所述目标深度图。

3.根据权利要求2所述的方法，其特征在于，所述利用所述目标神经网络对所述噪声图和所述待优化深度图进行特征提取，生成目标特征图，包括：

利用所述目标神经网络对所述噪声图和所述待优化深度图进行特征提取，生成多个不同尺寸的第一特征图；

将最小尺寸的第一特征图作为待处理特征图，对所述待处理特征图进行特征采样，生成第二特征图；其中，所述特征采样包括卷积处理和/或特征上采样；

基于所述第二特征图和与所述第二特征图尺寸一致的第一特征图，生成第三特征图；

将所述第三特征图作为更新后的待处理特征图，返回至对所述待处理特征图进行特征采样，生成第二特征图的步骤，直至生成的所述第三特征图的尺寸与第一特征图对应的最大尺寸一致，并将最大尺寸对应的第三特征图确定为所述目标特征图。

4.根据权利要求1～3任一所述的方法，其特征在于，根据下述步骤训练所述目标神经网络：

获取训练样本，其中，所述训练样本中包括样本图像、样本图像对应的第一深度图和第二深度图，第一深度图的精准度大于第二深度图的精准度；

利用所述训练样本，训练待训练神经网络，得到所述目标神经网络。

5.根据权利要求4所述的方法，其特征在于，在所述训练样本还包括样本图像对应的样本法向图和样本语义图，所述目标神经网络中包括多任务网络和深度优化网络的情况下，所述利用所述训练样本，训练待训练神经网络，得到所述目标神经网络，包括：

将所述第二深度图和所述样本图像，输入至所述多任务网络中，得到所述样本图像对应的预测噪声图、预测语义图、和预测法向图；

将所述预测噪声图和所述第二深度图输入至所述深度优化网络中，生成所述预测深度图；

基于所述预测语义图与所述样本语义图、所述预测法向图与所述样本法向图、所述预测深度图与所述第一深度图、所述预测深度图与所述第二深度图中的至少一种图组合，训练所述待训练神经网络，得到所述目标神经网络。

6.根据权利要求4或5所述的方法，其特征在于，所述基于所述预测语义图与所述样本语义图、所述预测法向图与所述样本法向图、所述预测深度图与所述第一深度图、所述预测深度图与所述第二深度图中的至少一种图组合，训练所述待训练神经网络，得到所述目标神经网络，包括：

基于所述预测深度图和所述第一深度图，确定用于表征深度信息偏差的第一损失值、和用于表征深度梯度偏差的第二损失值；基于所述预测语义图和所述样本语义图，确定用于表征语义信息偏差的第三损失值；基于所述预测法向图和所述样本法向图，确定用于表征法向信息偏差的第四损失值；以及基于第二深度图和所述预测深度图，确定用于表征深度失真信息的第五损失值；

基于所述第一损失值、第二损失值、第三损失值、第四损失值、以及所述第五损失值中的一种或多种损失值，确定目标损失值；

基于所述目标损失值，训练所述待训练神经网络，得到所述目标神经网络。