[发明专利]一种交互式多视点三维模型重建方法

摘要

本发明涉及一种引入了用户交互式操作的三维重建算法，属于计算机多媒体技术领域。该方法为：用户利用多个摄像机，获得对物体的多个视点的二维图像I_i，提取出其轮廓图；计算机根据各摄像机几何参数和轮廓图，获取实际场景的可视化外壳模型，并将其转化为点云形式；提取各图像中的二维特征，优化出这些特征所对应的实际表面之模型的部分；用户将图像I_i划分出平滑度区域，及凹陷度区域；依据以上选出的各区域建立出不均匀的带权图，并采用求出图的最小割，并从中得出优化后的场景表面模型。该方法根据输入的对实际物体所拍摄的多视点图像和各图像所对应的摄像机参数，结合用户的辅助操作，能够以较快的速度高质量地重建出物体的三维模型。

主权项

1、一种交互式多视点三维模型重建方法，其特征在于，该方法包括以下步骤：1)图像的获取：用户利用多个摄像机，获得对物体的多个视点的二维图像Ii，其中脚标i，表示各个对应视点的编号；并利用Zhang Zhengyou摄像机标定方法，获得各摄像机的几何参数Pi；2)轮廓图的获取：用户利用Lazy Snapping算法在计算机屏上对各视点Ti处的二维图像Ii进行前景与背景的划分，从而提取出前景的轮廓，生成对应轮廓图Si；3)可视化外壳的生成：计算机根据各轮廓图Si和各摄像机的几何参数Pi，利用EPVH算法，重建出物体表面的可视化外壳V，并以网格形式表达；4)可视化外壳的点云化：计算机将可视化外壳V离散化形成点云V’(点的集合)；其具体方法是：用与x，y，z三坐标轴平行的多条直线，将空间均匀采样，得到一系列均匀排列的交点，称作网点；然后取这些直线与V的网面相交处的网点，作为点云V’中的点；在点云V’中的任意一点vk所对应的数据结构中，包括坐标Coor(vk)，平滑程度Smt(vk)，凹陷程度Conc(vk)，及其在可视化外壳V中的对应网面的编号N(vk)四个数据；5)特征的提取：计算机采用DOG或Harris算子，提取出所述二维图像Ii的二维特征集合Fi{pi1，pi2…piN}；6)特征的筛选：计算机根据三个视点处的摄像机几何参数Pi，Pi+1与Pi-1，寻找与视点Ti 最邻近的两个视点Ti+1与Ti-1的图像Ii+1与Ii-1中，与图像Ii的特征点pij对应的特征点p(i+1)j 与p(i-1)j；7)特征的重建：在两幅图像Ii+1与Ii-1中找到图像Ii上特征点pij的对应点p(i+1)j、p(i-1)j，pij与Ti处摄像机中心Oi所确定的直线pijOi与可视化外壳V交于两点q1 (ij)与q2 (ij)，即实际物体表面上投影到pij的点q(ij)在q1 (ij)与q2 (ij)间的线段上，计算机对线段q1 (ij)q2 (ij)按相同长度进行分段，以各等分点作为节点，将相邻节点连接形成带权图(s-t)，并采用最大流算法求得该带权图的最小割(minimum cut)，并从该最小割中得到特征点pij所对应的局部表面，以点云Vp这种形式来表示；8)可视化外壳的区域划分：用户在图像Ii中划分出平滑度区域Rsmt i，j，及凹陷度区域Rconc i，j，并依据摄像机几何参数Pi，对点云V’中的对应于所述区域的各点vk的平滑程度值Smt(vk)，凹陷程度值Conc(vk)进行设定，计算机再对区域边界进行自动修正；9)重建范围的确定：计算机按点云V’上各点vk的平滑程度Smt(vk)进行上采样，得到稠密化的新点云V”；然后根据各点vk的凹陷程度Conc(vk)，确定下一步优化操作所需要的点集Sbetween，其中步骤7)所得的点云Vp为该点集Sbetween的一个子集；10)Graph Cut优化重建：计算机根据步骤7)中重建出的点云Vp、各摄像机的几何参数Pi和各图像Ii，利用步骤9)中所得到的点集Sbetween中的点作为节点建立带权(s-t)图，对于Vp中的点所对应的节点，由于其被确定属于物体的实际表面，其所连的边的权值也会得到相应的修正。最终采用push-relabel算法，得出该图的最小割(minimum cut)，从中获取出物体表面的精确的点云模型，作为重建的三维模型。