[发明专利]三维场景重建的方法和设备

说明书

本发明实施例提供一种三维场景重建的方法和设备，通过包括多个神经网络以层级的形式级联而形成的级联神经网络，首先基于多幅深度图像在较低预设分辨率下获取当前处理区域的每一像素点对应的直方图，结合当前神经网络确定当前处理区域内的下一级神经网络对应的子处理区域和当前神经网络学习到的体素重建数据，然后对于下一级神经网络，将子处理区域作为处理对象，在对处理对象提高分别率进行处理的基础上，重复上述过程；并根据每一级神经网络学习到的体素重建数据实现三维场景重建。本方法和装置以渐进的方式对处理区域进行从整体到局部的逐步处理，大大简化了神经网络的学习任务，且显著降低了计算成本，同时具有较高的效率、准确性和实用性。

技术领域

本发明实施例涉及通信技术领域，更具体地，涉及一种三维场景重建的方法和设备。

背景技术

三维场景的高质量重建是多年来计算机视觉和计算机图像学研究的主要前沿之一。同时，消费级彩色-深度(RGB-D)传感器(如Microsoft Kinect和IntelRealSense)的逐渐普及，使得更多初级用户能够对周围环境进行三维扫描，同时也增大了用户对三维重建算法的鲁棒性的需求。尽管近期学界在三维环境重建方面取得了诸多进展，但利用消费级RGB-D传感器从随意的扫描过程中获取的低质量数据重建高精确度的三维场景模型，仍然是一个非常具有挑战性的问题。

由于神经网络在三维模型分类、检索及分割等各项任务上均取得了令人印象深刻的结果，因此学术界中引入了一些基于神经网络学习的三维重建方法。

目前，一些学术论文公开了一些基于神经网络学习的三维重建方法，但是这些方法或者需要在局部推算之前进行额外的、耗时的步骤，或者需要在全局上优化三维体素表示的中间结果，使得这些方法很难生成更高分辨率的结果。

发明内容

为了克服上述问题或者至少部分地解决上述问题，本发明实施例提供一种三维场景重建的方法和设备。

根据本发明实施例的第一方面，提供一种三维场景重建的方法，包括：S11，对于场景重建区域，将场景重建区域作为级联神经网络的第一级神经网络对应的处理区域，根据从多角度采集的场景重建区域的多幅深度图像，获取在预设分辨率下的场景重建区域中每一像素点对应的直方图，将所有像素点对应的直方图输入到已训练的第一级神经网络，输出无需优化区域中每一像素点的体素重建数据和待优化区域的三维特性图；S12，将前一级神经网络确定的待优化区域作为当前神经网络对应的处理区域，根据多幅深度图像，获取在当前预设分辨率下的前一级神经网络所确定的待优化区域中每一像素点对应的直方图，当前预设分辨率高于前一预设分辨率，前一预设分辨率为前一级神经网络中所使用的预设分辨率，将前一级神经网络所确定的待优化区域的三维特性图，以及当前所获取的所有像素点对应的直方图输入到已训练的当前神经网络，输出无需优化区域中每一像素点的体素重建数据和待优化区域的三维特性图；S13，重复S12直至当前神经网络确定不存在待优化区域或者当前神经网络为级联神经网络的最后一级神经网络；S14，根据每一级神经网络输出的无需优化区域中每一像素点的体素重建数据重建场景重建区域的三维场景；其中，直方图的横坐标为多个数值范围，纵坐标为根据同一个像素点在多幅深度图像中的多个距离值在横坐标的数值范围内的数量分布，每一距离值为像素点距离对应的深度图像的视界表面的距离。

根据本发明实施例的第二方面，提供一种电子设备，包括：至少一个处理器、至少一个存储器和数据总线；其中：处理器与存储器通过数据总线完成相互间的通信；存储器存储有可被处理器执行的程序指令，处理器调用程序指令以执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的三维场景重建的方法。

根据本发明实施例的第三方面，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机程序，该计算机程序使计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的三维场景重建的方法。