[发明专利]基于先验模型的实时人体三维重建方法

权利要求书

1.一种基于先验模型的实时人体三维重建方法，其特征在于，包括以下步骤：

S1：通过单目深度相机采集第一帧深度数据；

S2：初始化先验人体模型，通过先验人体模型跟踪对齐第一帧深度数据；

S3：建立双层人体结构，包括双层表面和双层节点；

S4：接收下一帧深度数据，在双层人体结构与深度数据之间寻找对应点对；

S5：根据对应点对的匹配结果，动态调整目标函数权重，进行基于双层人体结构的跟踪；具体包括以下子步骤：

S51：使用先验人体模型跟踪人体的大致运动，目标函数如下：

各能量项的表达式如下：

ModelDataTerm：

ModelRegularTerm：

ModelPriorTerm：

S52：根据双层表面之间的对应关系，对双层人体结构进行初次变换；

S53：在初始变换的基础上，结合双层人体结构进行细节跟踪，以刻画出人体表面细节信息，目标函数如下：

其中为先验人体模型的姿态参数，记录了外层融合重建点云的变换；

在目标函数中，各能量项的具体描述如下：

FusedModelDataTerm：

其中v_f为融合重建点云中原有的点，优化前，首先通过先验人体模型的姿态参数将v_f变换到当前帧，记为此时就可以将对应点对(v_f,u)作用到先验人体模型上，是通过同样方式得到的法向量；

FusedNodeGraphDataTerm：

该能量项中未知量是每个节点的刚体变换用通过FusedNode插值变换v_f得到

FusedNodeGraphRegularTerm：

其中N_j是第j个FusedNode在当前迭代下的位置，R_j,为第j个FusedNode在当前迭代下的旋转变换矩阵与平移变换，m为FusedNode的数量，记录了第j个FusedNode的所有邻居序列，α_jk则记录了这对邻接关系的依赖权重；

ModelFusedBindTerm：

其中N_m是ModelNode，N_fob是OnBodyNode，为它们之间的对应关系，在ModelNode和OnBodyNode之间建立了软约束；

S6：通过体素碰撞检测结果，有选择的融合深度数据并恢复重建表面细节。

2.根据权利要求1所述的一种基于先验模型的实时人体三维重建方法，其特征在于，所述S1中，第一帧深度数据尽量使得人体以某个固定姿势朝向深度相机；对第一帧深度数据进行预处理，包括双边滤波、膨胀腐蚀、异常点检测、通过包围盒选定有效区域。

3.根据权利要求1所述的一种基于先验模型的实时人体三维重建方法，其特征在于，所述S2包括以下子步骤：

S21：根据先验人体模型上顶点与关节的关系，将模型划分为不同部位；

S22：根据各部位的语义信息，设置该部位用于寻找对应点对的距离和角度阈值的初始值；

S23：调整先验人体模型的参数，使得模型的体态特征与第一帧深度数据的人体体态一致；调整先验人体模型的参数，使得模型的姿态特征与第一帧深度数据的人体姿态一致。