[发明专利]一种高维材质的自由式采集方法

说明书

本发明公开了一种高维材质的自由式采集方法，属于计算机图形学和计算机视觉领域，本方法提出将材质信息的学习转化为非结构化点云上的几何学习问题，将多个处于不同光照及观察方向下的采集结果组成高维点云，点云中的每个点为图像测量值和图像拍摄时物体的位姿信息组成的向量，本方法可以从无序、非规则、分布不均匀且精度受限的高维点云中有效地聚合非结构化视图的信息，恢复出高质量的材质属性。

技术领域

本发明涉及一种高维材质的自由式采集方法，属于计算机图形学和计算机视觉领域。

背景技术

真实世界物体的数字化是计算机图形学和视觉的核心问题之一。目前，数字化的真实物体可以用三维网格模型和六维的随空间变化的双向反射分布函数(SVBRDF)来表达，数字化的真实物体可以在任何视角和光照条件下逼真地再现其原貌，在文化遗产、电子商务、计算机游戏和电影制作等领域有着重要的应用。

虽然高精度的几何模型可以方便地用商业移动3D扫描仪获得，但是出于以下原因，也希望开发一种轻量型设备来进行自由的外观扫描。首先，只要能够可靠地估计出摄像机的姿态，它就可以对不同大小的物体进行扫描。第二，设备的可移动性使得可以对不允许运输的对象，例如珍贵的文物执行现场扫描。此外，制造轻量级设备所需的时间短、成本低，使其能够为更广泛的受众所接受。它还提供了类似于几何扫描的用户友好的体验。

尽管需求激增，但有效的非平面外观扫描仍然是一个有待解决的问题。一方面，现有的大多数移动外观扫描工作都是在单点/平行光的情况下进行拍摄，这导致了四维的观察和光照方向的采样效率较低，用空间分辨率换取角度精度需要先验知识(Giljoo Nam,Joo Ho Lee,Diego Gutierrez,and Min H Kim.2018.Practical SVBRDF acquisition of3D objects with unstructured flash photography.In SIGGRAPH Asia TechnicalPapers.267.)。另一方面，固定采集系统在光照变化时依靠于固定的视图条件，目前尚不清楚如何将其扩展到移动设备，因为移动设备具有非结构化、不断变化的视图，并且由于其较小的外形尺寸而不能完全覆盖照明领域。

发明内容

本发明的目的在于针对现有技术的不足，提供一种高维材质的自由式采集方法，本方法可以有效利用各个视图的采集条件信息，从无序、分布不均匀的采集结果中恢复出高质量的物体材质属性。

本发明公开了一种高维材质的自由式采集方法，本方法的主要思想是，自由式的外观扫描可以转换为非结构化点云上的几何学习问题，点云中的每个点可以表示一个图像测量值和图像拍摄时物体的位姿信息。基于这一思想，本发明设计了一个神经网络，可在不同的非结构化视图中有效地聚合信息，重建空间独立的反射属性，并可以优化采集阶段使用的光照图案，最终得到高质量的材质采集结果。本发明不依赖于某一特定的采集设备，可采用固定物体，由人手持设备进行采集，或将物体放在转盘上旋转，固定设备采集，且不限于此两种方式。

本方法提出将材质信息的学习转化为非结构化点云上的几何学习问题，将多个处于不同光照及观察方向下的采样结果组成高维点云，点云中的每个点为图像测量值和图像拍摄时物体的位姿信息组成的向量，本方法可以从无序、非规则、分布不均匀且精度受限的高维点云中有效地聚合非结构化视图的信息，恢复出高质量的材质属性。形式化的表示如下：

F(G(high dimensional point cloud))＝m

其中，点云数据特征提取方法G不限于某一特定的网络结构，其他可以从点云中提取特征的方法也适用；非线性映射网络F不限于全连接网络；物体材质属性的表达不限于Lumitexel向量m。

本方法包含两个阶段：训练阶段和采集阶段。

所述训练阶段包括以下步骤：

(1)获取采集设备的参数，生成模拟实际摄像机的采集结果，作为训练数据；