[发明专利]多视角动物三维几何与纹理自动化重建方法和装置

权利要求书

1.一种多视角动物三维几何与纹理自动化重建方法，其特征在于，包括:

获取单个动物的多视角图像和初始表面模型；

对所述多视角图像进行处理，获取分割图和关键点；

根据所述关键点和所述分割图对所述初始表面模型进行交替姿态拟合和几何优化，获取表面几何模型；

对所述表面几何模型进行纹理采样，获取纹理图，

其中，所述获取单个动物的多视角图像，包括：

获取N个多视角图像；其中，N为大于等于2的正整数，两个视角之间具有至少45度的偏差，第i个视角，其中，1≤i≤N，的内参和外参分别为K_i∈R^3×3和R_i∈R^3×3，T_i∈R³，图像为I_i，以及每个视角下通过内参矩阵K_i将三维点投影成二维点的过程记为函数π_i(·)，

所述初始表面模型为人工设计的动物网格模型，所述获取单个动物的初始表面模型，包括：

获取动物网格模型，其中，模型顶点坐标为其中，N_V为顶点数量，骨骼关节点坐标为其中，N_S为关节点数量，模型姿态驱动参数为所述驱动参数包含每个关节点的旋转向量、三维的全局平移和一维的模型尺寸，骨骼旋转向量驱动顶点的线性蒙皮权重为从模型顶点坐标到骨骼关节点坐标的回归矩阵为S＝J·V，由驱动参数驱动后的顶点与骨骼位置记为V(Θ)和S(Θ)，

所述对所述多视角图像进行处理，获取分割图和关键点，包括：

对第i个视角的图像I_i，使用训练好的卷积神经网络作用于所述图像I_i，获取分割图M_i和关键点坐标Yⁱ∈R^K×2，其中，所述分割图与原图尺寸相同，对于图像坐标u，M_i(u)＝0表明位置为背景，M_i(u)＝1表明u为前景坐标，M_i(u)＝2表明位置被环境中非目标物体遮挡，M_i(u)＝3表明位置为去畸变造成的图像空域；取出M_i(u)＝1的部分为M_if，M_if的其余位置置0，对M_i(u)＝1的轮廓上的点u的法向量为n(u)，对M_if做距离变换，获取距离场D_i，记K为检测的关键点数量，对于检测关键点对应关系用布尔变量a_k和网格模型坐标序号b_k表达，若a_k＝1，表明检测关键点对应网格模型表面顶点，b_k为对应表面顶点的序号；若a_k＝0，表明检测关键点对应网格模型骨骼关节点，b_k为骨骼关节点序号，记回归函数X＝r(Θ)∈R^K×3表明从已驱动网格模型中回归出与检测关键点同拓扑的三维关键点坐标，其中，对第k个关键点，其回归方式为

所述根据所述关键点对所述初始表面模型进行交替姿态拟合，包括：

选取表达所述单个动物鼻子、中心点、尾巴的三个检测关键点，利用多视角几何的方法进行三角化，获取所述三个检测关键点对应的关键三维点；

根据所述关键三维点与从所述初始表面模型回归出来的三维点进行普氏分析，获取尺度和全局平移、关节点根节点的旋转估计；

利用所述关键点进行关节旋转角优化，其中，定义能量函数：

其中，w_reg0为正则项系数，使用高斯牛顿方法求所述能量函数E的极小值，迭代次数为预设数值次，

所述根据所述分割图对所述初始表面模型进行几何优化，包括：

使用点云降采样算法，对所述初始表面模型的顶点进行降采样，获取目标数值的顶点作为嵌入结点，记所述嵌入结点的数量为V_n；

计算所述嵌入结点之间的测地线距离，对每个嵌入结点v_m选取最邻近的N₁个结点作为邻域

对每个初始表面模型顶点v_p，同样计算到所有结点的测地距离，选取最近的N₂个结点作为邻域

对于邻域中的点定义权重w_q，使得d_geo(·,·)为测地线距离；

在每个嵌入结点上定义ξ(·)∈R⁶，表达所述嵌入结点的旋转与平移变换；所述变换通过权重w_q作用到所述初始表面模型的每一个顶点上；

将所有嵌入结点的变换参数集合定义为A，在驱动参数驱动后的顶点的基础上，经由结点变换得到的顶点位置为V(A,Θ)，其中，第k个顶点为

对于第i个视角，记所述初始表面模型渲染出来的深度图和分割图为Depth_i和Rend_i，对Rend_i做距离变换，得到距离场P_i，将每个所述初始表面模型点V_k(A,Θ)做投影得到位置u_k和深度d_k，若|d_k-Depth_i(u_k)|0.02且P_i(u_k)10，则将该三维模型点放入投影轮廓点集合C_i中；

记能量函数所述能量函数将所述初始表面模型的表面拟合到轮廓上，记能量函数为平滑项，约束相邻结点对应的变换相似，记能量函数为正则项，约束每个结点的旋转和平移小于预设阈值；

通过高斯牛顿方法最小化能量函数E_n(A)＝w_nodeE_node+w_smthE_smth+w_nrE_nr，迭代次数为预设数值次，获取初始几何优化，

所述根据所述关键点和所述分割图对所述初始表面模型进行交替姿态拟合和几何优化，获取表面几何模型，包括：

使用E_data(Θ)对姿态进行优化，迭代次数为1；

使用E_n(A)对嵌入结点的变换进行求解，迭代次数为1；

根据优化后的表面顶点位置V_new，使用回归矩阵回归得到新的关节位置S_new＝JV_new，S_new替代姿态进行优化中能量函数里的隐含S；

重复上述步骤，获取与各视角观测相对应的表面几何模型。