[发明专利]一种图像深度预测方法及电子设备

说明书

本申请涉及图像处理技术领域，具体涉及一种图像深度预测方法及电子设备。该方法包括：获取主视图和第一辅助视图，主视图包括第一像素，第一像素在第一假设深度下对应第二像素，第二像素位于第一辅助视图上；根据第二像素的特征信息和至少一个第三像素的特征信息，更新第二像素的特征信息；第四像素是第一像素在第二假设深度下在第一辅助视图上对应的像素；根据第一像素的特征信息和第二像素更新后的特征信息，得到第一假设深度的概率。在该方法中，可以将相邻采样点之间的像素的特征汇聚到附近的采样点的特征中，并据此确定相应的假设深度是主视图像素真实深度的可能性，提高了深度预测的准确率。

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像深度预测方法及电子设备。

背景技术

图像的三维(three-dimensional，3D)重建技术具有广泛的应用，例如地质勘测、地图测绘、增强现实(augmented reality，AR)、虚拟现实(Virtual Reality，VR)等。特别是AR技术的发展，手机等移动终端也具备了AR功能，由此使得基于AR技术的环境交互、信息推送、虚拟娱乐等应用(application，APP)开始涌现。进而也对三维重建技术有了更多的需求。

就目前而言，三维重建技术主要分为如下三种。

a，激光采集，其重建效果最好，可直接输出点云结果，但是采集设备昂贵，采集流程难度较高，不适合面向普通消费者。

b，深度相机采集，其可直接获取所拍摄场景的深度信息，成本相对激光采集较低。

但三维重建效果一般。

c，RGB图像结合稠密重建(multi-view stereo matching，MVS)算法，成本低廉，重建效果仅次于激光采集。因此，相对于激光采集和深度相机采集，具有综合优势。特别是基于深度学习(deep learning)的稠密重建算法具有较高的精度及计算速度，已被广泛采用。

稠密重建算法包括深度预测和点云融合两个部分，其中，深度预测预测到的图像深度直接决定了点云的精度。深度预测的原理为设置多个假设深度，并通过单因性变化，找到主视图像素在各假设深度下在辅助视图上的采样点，然后计算主视图像素和各假设深度下的采样点之间的相似度，并由此确定各假设深度是主视图像素真实深度的概率，并将概率最大的假设深度作为预测结果。因此，如何使主视图像素在真实深度下在辅助视图上对应的像素，参与深度预测，对提升深度预测的效果具有重要意义。

发明内容

本申请实施例提供了一种图像深度预测方法及电子设备，以提升深度预测的效果。

第一方面，本申请实施例提供了一种图像深度预测方法，包括：获取主视图和第一辅助视图，主视图和所述第一辅助视图是相机以不同角度面对第一物体时拍摄的图像，主视图包括第一像素，第一像素在第一假设深度下对应第二像素，第二像素位于第一辅助视图上；根据第二像素的特征信息和至少一个第三像素的特征信息，更新第二像素的特征信息；至少一个第三像素位于第二像素和第四像素之间的连线上，第四像素是第一像素在第二假设深度下在第一辅助视图上对应的像素，第二假设深度和第一假设深度在预设的D个假设深度中相邻，D为大于1的正整数；根据第一像素的特征信息和第二像素更新后的特征信息，得到第一假设深度的概率，第一假设深度的概率用于表示第一假设深度是第一像素的真实深度的可能性。

在该方法中，可以将相邻采样点之间的像素的特征汇聚到附近的采样点的特征中，并据此确定相应的假设深度是主视图像素真实深度的可能性，从而使得真实深度对应的像素特征可以更大概率地参与深度预测，提高了深度预测的准确率。