[发明专利]深度图处理方法、装置及电子设备

说明书

本发明提供一种深度图处理方法、装置及电子设备。所述方法包括：基于双目立体匹配算法对输入的主图和副图进行立体匹配，得到第一深度图以及第一深度图的第一置信度图；确定第一置信度图中低置信区的面积，并得到低置信区和高置信区；当第一置信度图中低置信区的面积大于或等于预定阈值时，采用单目深度估计模型对所述主图进行单目深度估计，得到第二深度图，并对高置信区内的第一深度图和第二深度图进行拟合，得到对应关系，利用所述对应关系和第二深度图获得第三深度图，并对第三深度图进行深度图的后续处理和应用；当第一置信度图中低置信区的面积小于预定阈值时，对第一深度图进行深度图的后续处理和应用。本发明提高深度图的质量。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种深度图处理方法、装置及电子设备。

背景技术

随着计算机技术、多媒体技术的发展，人们对三维世界的感知需求不断提升，越来越多的应用需要获取三维场景相对于摄像机的距离(即深度)，如散景虚化、三维重建、人机交互、模式识别等，都是利用深度图来表征物体的第三维信息。而一般的摄像技术只能以二维的方式记录三维的空间，因此，如何获取高质量的深度信息成了计算机视觉至关重要的技术。

常见的深度图产生方法有立体匹配算法，如局部立体匹配、全局立体匹配和二者相结合形成的半全局立体匹配。局部立体匹配算法大多基于窗口实现，其复杂度低、易于实时实现，但局部立体匹配算法产生的深度图往往噪声较大，在低纹理区域、重复纹理区域和遮挡区域容易产生错误匹配。全局算法一般加入平滑项，通过解决最优化问题来计算，往往复杂度高，计算成本较大。半全局立体匹配作为逐像素匹配的方法，采用互信息评价匹配代价，并通过动态规划在一维平滑约束中实现最优路径的搜索。以上基于立体匹配的算法都容易在低纹理区域、重复纹理区域和遮挡区域等产生错误匹配，从而得到错误的深度值。

发明内容

本发明提供的深度图处理方法、装置及电子设备，能够在双目立体匹配的基础上，结合基于深度学习的单目深度估计，提高深度图的质量。

第一方面，本发明提供一种深度图处理方法，所述方法包括：

基于双目立体匹配算法对输入的主图和副图进行立体匹配，得到第一深度图以及所述第一深度图的第一置信度图；

确定所述第一置信度图中低置信区的面积，并得到低置信区和高置信区；

当所述第一置信度图中低置信区的面积大于或等于预定阈值时，采用单目深度估计模型对所述主图进行单目深度估计，得到第二深度图，并对所述高置信区内的第一深度图和第二深度图进行拟合，得到对应关系，利用所述对应关系和所述第二深度图获得第三深度图，并对所述第三深度图进行深度图的后续处理和应用；

当所述第一置信度图中低置信区的面积小于所述预定阈值时，对所述第一深度图进行深度图的后续处理和应用。

可选地，在所述基于双目立体匹配算法对输入的主图和副图进行立体匹配，得到第一深度图以及所述第一深度图的第一置信度图之前，所述方法还包括：

基于深度学习进行单目深度估计模型训练，得到单目深度估计模型。

可选地，所述利用所述对应关系和所述第二深度图获得第三深度图包括：

对所述第二深度图通过所述对应关系计算得到第三深度图，所述第三深度图符合所述第一深度图分布。

可选地，所述利用所述对应关系和所述第二深度图获得第三深度图包括：

将所述低置信区内部的第二深度图通过所述对应关系计算得到低置信区内部的第四深度图；

将所述低置信区内部的第一深度图中的像素用所述第四深度图中的对应像素替换，即：从高置信区中取所述第一深度图，从低置信区中取所述第四深度图，将所述第一深度图和所述第四深度图融合，得到第三深度图。