[发明专利]基于彩色点云生成带纹理三维网格模型的方法及装置

说明书

本发明提供了一种基于彩色点云生成带纹理三维网格模型的方法，其特征在于，包括如下步骤：步骤S1，利用预处理算法对彩色三维点云数据处理；步骤S2，输入三维几何先验深度网络优化；步骤S3，利用三维网格模型展开算法处理得到UV映射关系；步骤S4，基于UV映射关系投影得到稀疏点云坐标二维图像以及稀疏点云色彩二维图像；步骤S5，输入二维几何先验深度网络优化；步骤S6，输入二维纹理先验深度网络得到初代三维网格模型的纹理；步骤S7，将步骤S5的输出输入三维几何先验深度网络中优化；步骤S8，判断是否达到三维网格迭代次数，判断为否时重复步骤S3至步骤S8，判断为是时进入步骤S9；步骤S9，结合当前三维网格模型与纹理得到带纹理三维网格模型。

技术领域

本发明属于三维计算机视觉领域，具体涉及一种基于彩色点云生成带纹理三维网格模型的方法及装置。

背景技术

基于三维建模方法的数字几何处理技术已经成为数字媒体技术的第四个浪潮，它被广泛应用在工业设计和数字娱乐等领域。而三维网格模型是三维建模中一种重要的工作方式，如何生成高质量的带有纹理的三维网格模型成为近年的研究热点。

三维网格模型的一般生成流程为先使用扫描设备或多视角立体匹配算法对需要建模的物体进行彩色三维点云数据采集，然后基于彩色三维点云数据利用一些三维网格模型生成算法获得物体的三维网格模型。

传统的三维网格模型生成算法可以结合多种先验知识以及点云数据生成三维网格模型，例如基于沃罗诺伊图的表面重建[1]，泊松表面重建[2]。以上两种方法对点云数据的密度有较高的要求较高，并且生成的三维网格模型对于点云数据中带有的噪声较为敏感，泛化表现较差。因此，传统的三维网格模型生成算法无法针对较为稀疏且带有噪声的点云数据进行正常有效地建模，同时也不能基于彩色三维点云数据生成高质量的三维网格纹理贴图。

近年来，一些学者尝试利用深度神经网络来实现三维网格模型的生成，例如：文[3]提供了一种基于形变推断的从多张图片生成三维网格模型的方法。该方法构建了提取二维图像几何特征以及语义特征的图像特征提取网络，并根据上述特征对三维网格模型的网格顶点的潜在移动位置进行采样，利用图像感知特征的特征一致性进行加权评分从而将三维网格模型形变成精细化三维网格模型。该方法需要在大量点云数据上进行训练，并且在实际应用时，如果输入的数据与训练用的数据偏差较大，则该方法的性能就会不理想。

另外，文[4]基于深度图卷积神经网络自身的三维先验，提出了基于三维点云输入将凸包变形为三维网格模型的方法。该方法中的三维图卷积深度网络自身先验较弱，从而导致其性能的好坏过度依赖于输入的三维点云数据的精准度以及稠密程度。

上述基于图卷积神经网络生成三维模型的方法，大部分都是从二维彩色图像中生成三维网格模型，都过分依赖于在大量点云数据上的训练得到的先验，因而通常都具有较为严重的泛化表现问题，不能利用实际输入的点云数据进行高质量的三维网格模型生成。

参考文献

[1]AmentaN,BernM.,KamyysselisM.,et al.A newvoronoi-basedsurfacereconstruction algorithm[C]//Proceedings ofthe 25th annual conference onComputer graphics and interactivetechniques.1998:415–421.

[2]KazhdanM,BolithoM,HoppeH,et al.Poisson surfacereconstruction[C]//In Proceedings of the fourth Eurographicssymposium on Geometryprocessing.2006:volume 7.