[发明专利]一种对物体三维重建的方法及相关设备

说明书

本申请实施例提供一种对物体三维重建的方法及相关设备，该方法包括：采集物体的多个时刻的彩色可见光段RGB图像和所述多个时刻的深度图；其中，每个时刻的RGB图像包含从所述物体多个方位采集的RGB图像，每个时刻的深度图包含从所述物体的所述多个方位采集的深度图；根据所述多个时刻的RGB图像和所述多个时刻的深度图通过形变追踪和体素融合对所述物体进行重建；其中，所述形变追踪使用的多个结点node位于所述体素融合使用的体素块上，且一个体素块只对应一个node，所述体素块的数量大于或等于所述node的数量。采用本申请实施例，能够显著减小重建过程中的计算量，提高重建的效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种对物体三维重建的方法及相关设备。

背景技术

三维(three-dimensional，3D)重建是增强现实技术(Augmented Reality，AR)/虚拟现实(Virtual Reality，VR)应用中的关键技术之一，其目的是获取场景中环境及物体的三维几何(如表面形状)及纹理(如表面颜色)信息，以用于渲染出物体的三维图像。下面提供一种应用了3D重建的AR/VR场景，该场景用于对物体进行点云采集、3D重建、压缩编码和传输，从而使得本地物体在其他设备处渲染并显示出逼真的三维效果，其具体实现过程如下：

1、点云采集：通过一组或多组深度相机模组采集物体多个时刻的彩色可见光段RGB图像和深度图。

2、3D重建：采用形变追踪和体素融合对该多个时刻的RGB图像和深度图进行处理，得到融合后的网格Mesh和该多个时刻中每个时刻的形变参数。其中，该形变追踪基于嵌入式形变图(Embeded Deformation Graph)来实现。

3、纹理生成：根据每个时刻的RGB图像和网格Mesh信息，生成纹理贴图和纹理坐标。

4、压缩编码传输和AR/VR呈现：对融合后的Mesh、每个时刻的形变参数、纹理贴图/纹理坐标以及每个时刻的形变参数进行压缩编码并发送给接收端。相应地，接收端进行解码后恢复该融合后的Mesh、纹理贴图、纹理坐标以及每个时刻的形变参数，并在显示装置(如AR显示设备、VR显示设备等)上进行渲染以便观看。

如表1所示，每个时刻的形变参数包含该时刻的各个node的形变参数，每个node包括该node的位置坐标信息(X,Y,Z)以及该node的刚性形变参数(Alpha、Beta、Gamma、Tx、Ty、Tz)，其中Alpha、Beta、Gamma是旋转参数(以欧拉角表示)，Tx、Ty、Tz是平移参数。

表1

现有技术中，形变追踪所使用的node是从网格Mesh中下采样得到的，由于Mesh通常不规则，因此从mesh中下采样得到的node通常在空间中分布也不规则，这就使得各个node之间的相邻关系必须通过搜索和比较才能得到。3D重建过程需要用到该相邻关系，因此涉及到大量的遍历搜索运算，大量的遍历搜索运算使得运算速度变慢，而且带来了较大的功耗。

发明内容

本发明实施例公开了一种对物体三维重建的方法及相关设备，能够显著减小重建过程中的计算量，提高重建的效率。

第一方面，本申请实施例提供一种对物体三维重建的方法，该方法包括：

采集物体的多个时刻的彩色可见光段RGB图像和所述多个时刻的深度图；其中，每个时刻的RGB图像包含从所述物体多个方位采集的RGB图像，每个时刻的深度图包含从所述物体的所述多个方位采集的深度图；

根据所述多个时刻的RGB图像和所述多个时刻的深度图通过形变追踪和体素融合对所述物体进行重建；其中，所述形变追踪使用的多个结点node位于所述体素融合使用的体素块上，且一个体素块只对应一个node，所述体素块的数量大于或等于所述node的数量。