[发明专利]一种基于任意视角图片的三维结构化模型重建的方法

说明书

本发明公开了一种基于任意视角图片的三维结构化模型重建的方法，包括以下步骤：步骤1、采集图片，构成训练数据集；步骤2、对图片的物体部件进行分割，获取每个部件的包围盒；步骤3、构建深度卷积网络模型，从图像中提取对应的深度图像；步骤4、构建深度网络模型，解码出物体的结构表示；步骤5、构建并训练深度三维网格变形网络，将包围盒变形成结构良好的三维模型。本发明通过对物体结构表示进行变形并使用一种拓扑自适应的方法，可以改善使用一般图卷积拓扑不变的问题，并且保证物体恢复的几何细节和结构信息。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于任意视角图片的三维结构化模型重建的方法。

背景技术

三维重建是一种利用二维信息投影恢复三维信息的计算机技术。在计算机视觉的领域中，三维重建具有非常高的研究价值，广泛应用于无人驾驶、人工智能、SLAM、虚拟现实等领域。最近，基于深度卷积神经网络学习的三维重建方法已经普及。与传统的多视图立体算法相比，学习模型能够编码关于三维形状空间的丰富的先验信息，这有助于解决输入中的模糊问题。

尽管基于体素和点云的方法已经被用于三维重建上，但是这两种表示方式不能很好的表达物体的几何细节并且会缺失物体的结构特征。体素类似于二维图像中的像素，由于占位栅格对算力和存储要求太高，因此这种方法重建出的结果分辨率不会很高，重构出的表面也不够精细；直接使用点云这种最接近传感器的原始数据去重建物体，可能导致无法学习出物体的拓扑结构，精细表面和重建的结构信息都无法得到。

基于网格的三维重建方法以他的灵活性越来越受到关注。在三维重建中，三角形网格的模型会被视作图，这有利于进行卷积以达到重建的目的。尽管这些方法可以重建出物体的表面，但是其重建结果受限于特定的3D模型的类别并且缺少结构信息。图像和网格之间的转换产生的离散操作会阻碍反向传播的过程,导致基于深度学习重建网格表示的三维模型面临不小的挑战。一般的实现操作是利用图卷积去变形一个预先定义好的网格(通常是一个球)去重建物体。图卷积通常在识别和分类问题上有很好的效果。但是它在三维模型重建、模型生成和结构分析中缺乏应用，这是因为图卷积在点上面进行聚合信息时会发生过光滑的现象。更重要的是，目前使用网格重建的图卷积只能处理固定拓扑结构的网格。

在现有的技术中，《一种多视图三维重建方法》(CN110570522A)对单个物体的不同视角的多幅彩色图片提取融合特征，然后将四个不同尺度的特征进行融合，最后通过网格变形模块进行变形得到最终重建的模型；《一种基于RGB数据与生成对抗网络的点云三维重建方法》(CN111899328A)该发明主要通过生成网络从单张RGB图片中生成图片的深度图，然后根据深度计算图片物体的三维点云数据，最后使用判别网路判断估计的点云是否合理，以得到完整的三维模型；《基于单目视图的三维重建方法与装置》(CN112116700A)对输入图像进行多次卷积处理，得到多层特征图序列后并局部增强特征；最后将特征图输入到三维重建部件中生成部件级的三维体素信息。《一种基于符号距离函数的三维重建方法》(CN112184899A)该方法是基于符号距离函数来重建三维模型。首先对关键帧的深度图进行双边滤波，然后对模型进行上采样得到图片和三维模型对应的训练集，并输入到神经网路中进行训练，最后使用Marching Cubes算法重建出较为精细的三维模型。

现有技术的缺点：

1、基于多视角的三维重建(CN110570522A)需要对同一物体的不同视角的图片进行特征融合后再进行二维图片到三维模型映射，虽然可以实现三维模型的实现，但是这种方法受限于输入复杂的数据，多视角图片的采集需要额外设备的辅助；

2、(CN112116700A)通过多次卷积后将图片的特征输入到三维部件生产器，虽然可以实现物体的部件级的重建，但是由于基于体素本身的局限性，其分辨率仅有32³；

3、基于单视角的图片(CN111899328A)使用了点云这种数据结构，在表面生成中，点云的代价是缺失点的领域信息以至于重建出的结果缺少表面细节和结构信息。