[发明专利]多视角动物三维几何与纹理自动化重建方法和装置

说明书

本申请提出一种多视角动物三维几何与纹理自动化重建方法和装置，涉及计算机视觉技术领域，其中，方法包括：获取单个动物的多视角图像和初始表面模型；对多视角图像进行处理，获取分割图和关键点；根据关键点和分割图对所述初始表面模型进行交替姿态拟合和几何优化，获取表面几何模型；对表面几何模型进行纹理采样，获取纹理图。由此，提高多视角动物三维几何与纹理自动化重建效率。

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种多视角动物三维几何与纹理自动化重建方法和装置。

背景技术

随着计算机技术的普及和发展，对动物的三维重建与运动捕捉逐渐成为重要的课题。然而，针对动物的表面模型重建的方法仍然十分欠缺，仅有少量针对动物姿态检测与轨迹重建的方法存在。由于动物对人的配合性较差，而且运动速度较快，我们难以使用高精度的激光或红外扫描设备对动物进行表面模型重建。而在无标记三维重建方面，目前鲜有完整的几何与纹理重建方法提出，仅有的一些方法也需要大量的人工操作，自动化程度低。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种多视角动物三维几何与纹理自动化重建方法，解决了现有技术难以对动物进行无标记三维几何与纹理自动化重建，动物三维几何与纹理效率低的问题。

本申请的第二个目的在于提出一种多视角动物三维几何与纹理自动化重建装置。

为达上述目的，本申请第一方面实施例提出了一种多视角动物三维几何与纹理自动化重建方法，包括：

获取单个动物的多视角图像和初始表面模型；

对所述多视角图像进行处理，获取分割图和关键点；

根据所述关键点和所述分割图对所述初始表面模型进行交替姿态拟合和几何优化，获取表面几何模型；

对所述表面几何模型进行纹理采样，获取纹理图。

本申请实施例的多视角动物三维几何与纹理自动化重建方法，通过获取单个动物的多视角图像和初始表面模型；对多视角图像进行处理，获取分割图和关键点；根据关键点和分割图对所述初始表面模型进行交替姿态拟合和几何优化，获取表面几何模型；对表面几何模型进行纹理采样，获取纹理图。由此，提高多视角动物三维几何与纹理自动化重建效率。

可选地，在本申请的一个实施例中，所述获取单个动物的多视角图像，包括：

获取N个多视角图像；其中，N为大于等于2的正整数，两个视角之间具有至少45度的偏差，第i个视角，其中，1≤i≤N，的内参和外参分别为K_i∈R^3×3和R_i∈R^3×3，T_i∈R³，图像为I_i，以及每个视角下通过内参矩阵K_i将三维点投影成二维点的过程记为函数π_i(·)。

可选地，在本申请的一个实施例中，所述获取单个动物的初始表面模型，包括：

获取动物网格模型，其中，模型顶点坐标为其中，N_V为顶点数量，骨骼关节点坐标为其中，N_S为关节点数量，模型姿态驱动参数为所述驱动参数包含每个关节点的旋转向量、三维的全局平移和一维的模型尺寸，骨骼旋转向量驱动顶点的线性蒙皮权重为从模型顶点坐标到骨骼关节点坐标的回归矩阵为S＝J·V，由驱动参数驱动后的顶点与骨骼位置记为V(Θ)和S(Θ)。

可选地，在本申请的一个实施例中，所述对所述多视角图像进行处理，获取分割图和关键点，包括：