[发明专利]一种高维材质的自由式采集方法

权利要求书

1.一种高维材质的自由式采集方法，其特征在于，该方法包括训练阶段和采集阶段；

所述训练阶段包括以下步骤：

(1)获取采集设备的参数，生成模拟实际摄像机的采集结果，作为训练数据；

(2)使用生成的训练数据，对神经网络进行训练，神经网络的特征如下：

(2.1)神经网络的输入为k个非结构化采样下的Lumitexel向量，k为采样个数，Lumitexel的每个值描述了采样点对来自每个光源的入射光沿着某个观察方向的反射光强，Lumitexel与光源发光强度成线性关系，用线性全连接层模拟；

(2.2)神经网络的第一层包括线性全连接层，用于模拟实际采集时所用的光照图案，将所述k个Lumitexel变换为相机采集结果，这k个采集结果分别与对应的采样点的位姿信息结合组成高维点云；

(2.3)从第二层开始为特征提取网络，从所述高维点云中每个点独立地进行特征提取得到特征向量；

(2.4)特征提取网络后为最大池化层，用于聚合从k个非结构化视图中提取到的特征向量，得到全局特征向量；

(2.5)最大池化层后为非线性映射网络，用于根据所述全局特征向量恢复出高维材质信息；

所述采集阶段包括以下步骤：

(1)材质采集：采集设备按照所述光照图案依次对目标三维物体进行照射，摄像机获得一组非结构化视图下的照片，将照片作为输入，获得采样物体带有纹理坐标的几何模型和拍摄照片时摄像机的位姿；

(2)材质恢复：根据材质采集阶段拍摄照片时摄像机的位姿，得到拍摄每张照片时采样物体上每个有效纹理坐标对应顶点的位姿；根据所述采集到的照片及位姿信息，组成所述高维点云，作为神经网络的第二层特征提取网络的输入，计算得到高维材质信息。

2.根据权利要求1所述的一种高维材质的自由式采集方法，其特征在于，所述非结构化采样为非固定视角的自由随机采样，采样数据无序、非规则、分布不均，可采用固定物体，由人手持采集设备进行采集，或将物体放在转盘上旋转，固定设备采集。

3.根据权利要求1所述的一种高维材质的自由式采集方法，其特征在于，在训练数据生成过程中，当光源为彩色时，需要对光源、采样物体和摄像机之间的光谱响应关系进行校正，校正方法如下：

定义未知的彩色光源L的光谱分布曲线为λ表示波长，c₁表示RGB三通道中的一个，光强为{I_R，I_G，I_B}的光源的光谱分布曲线L(λ)可以表示为：

将任何采样点p的反射光谱分布曲线p(λ)表示为系数分别为p_R，p_G，p_B的三个未知的基的线性组合，c₂表示RGB三通道中的一个：

摄像机C的光谱分布曲线表示为的线性组合；对于在光强为{I_R，I_G，I_B}的光源照射下，摄像机对于反射系数为{p_R，p_G，p_B}的采样点在某一特定通道c₃的测量值如下式：

在光照条件为{I_R，I_G，I_B}＝{1，0，0}/{0，1，0}/{0，0，1}下，对已知反射系数为{p_R，p_G，p_B}的色彩测试卡进行拍摄，根据摄像机采集到的测量值建立线性方程组，求解出大小为3×3×3的颜色校正矩阵δ(c₁，c₂，c₃)，表示光源、采样物体和摄像机之间的光谱响应关系。