[发明专利]深度图处理方法、装置及电子设备

权利要求书

1.一种深度图处理方法，其特征在于，所述方法包括：

基于双目立体匹配算法对输入的主图和副图进行立体匹配，得到第一深度图以及所述第一深度图的第一置信度图；

确定所述第一置信度图中低置信区的面积，并得到低置信区和高置信区；

当所述第一置信度图中低置信区的面积大于或等于预定阈值时，采用单目深度估计模型对所述主图进行单目深度估计，得到第二深度图，并对所述高置信区内的第一深度图和第二深度图进行拟合，得到对应关系，利用所述对应关系和所述第二深度图获得第三深度图，并对所述第三深度图进行深度图的后续处理和应用；

当所述第一置信度图中低置信区的面积小于所述预定阈值时，对所述第一深度图进行深度图的后续处理和应用。

2.根据权利要求1所述的方法，其特征在于，在所述基于双目立体匹配算法对输入的主图和副图进行立体匹配，得到第一深度图以及所述第一深度图的第一置信度图之前，所述方法还包括：

基于深度学习进行单目深度估计模型训练，得到单目深度估计模型。

3.根据权利要求1或2所述的方法，其特征在于，所述利用所述对应关系和所述第二深度图获得第三深度图包括：

对所述第二深度图通过所述对应关系计算得到第三深度图，所述第三深度图符合所述第一深度图分布。

4.根据权利要求1或2所述的方法，其特征在于，所述利用所述对应关系和所述第二深度图获得第三深度图包括：

将所述低置信区内部的第二深度图通过所述对应关系计算得到低置信区内部的第四深度图；

将所述低置信区内部的第一深度图中的像素用所述第四深度图中的对应像素替换，即：从高置信区中取所述第一深度图，从低置信区中取所述第四深度图，将所述第一深度图和所述第四深度图融合，得到第三深度图。

5.一种深度图处理装置，其特征在于，所述装置包括：

双目立体匹配单元，用于基于双目立体匹配算法对输入的主图和副图进行立体匹配，得到第一深度图以及所述第一深度图的第一置信度图；

确定单元，用于确定所述第一置信度图中低置信区的面积，并得到低置信区和高置信区；

单目深度估计单元，用于当所述第一置信度图中低置信区的面积大于或等于预定阈值时，采用单目深度估计模型对所述主图进行单目深度估计，得到第二深度图；

拟合单元，用于对所述高置信区内的第一深度图和第二深度图进行拟合，得到对应关系；

第一处理单元，用于利用所述对应关系和所述第二深度图获得第三深度图，并对所述第三深度图进行深度图的后续处理和应用；

第二处理单元，用于当所述第一置信度图中低置信区的面积小于所述预定阈值，对所述第一深度图进行深度图的后续处理和应用。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

模型建立单元，用于在所述双目立体匹配单元基于双目立体匹配算法对输入的主图和副图进行立体匹配，得到第一深度图以及所述第一深度图的第一置信度图之前，基于深度学习进行单目深度估计模型训练，得到单目深度估计模型。

7.根据权利要求5或6所述的装置，其特征在于，所述第一处理单元，还用于对所述第二深度图通过所述对应关系计算得到第三深度图，所述第三深度图符合所述第一深度图分布。

8.根据权利要求5或6所述的装置，其特征在于，所述第一处理单元，还用于将所述低置信区内部的第二深度图通过所述对应关系计算得到低置信区内部的第四深度图；将所述低置信区内部的第一深度图中的像素用所述第四深度图中的对应像素替换，即：从高置信区中取所述第一深度图，从低置信区中取所述第四深度图，将所述第一深度图和所述第四深度图融合，得到第三深度图。