[发明专利]衣物物理模型驱动的实时人体动态三维重建方法及系统

权利要求书

1.一种衣物物理模型驱动的实时人体动态三维重建方法，其特征在于，包括以下步骤：

S1，使用深度相机对人体进行拍摄，获得彩色-深度图序列；

S2，使用所述彩色-深度图序列中的输入深度序列进行参数化人体模型匹配、模型表面非刚性运动跟踪以及基于深度融合的模型更新进行双层人体表面的重建；

S3，使用所述彩色-深度图序列中的彩色图像序列，基于深度学习方法进行多视角三维人体语义分割，获得不同衣物的独立几何模型，结合参数化人体模型构成多层人体模型；

S4，根据所述输入深度序列，使用双层人体表面进行人体运动跟踪，获得对应人体姿态信息；

S5，根据所述人体姿态信息，对衣物运动进行物理仿真，结合输入深度信息，构造深度拟合外力，约束衣物物理仿真结果与深度输入相匹配，以完成具有衣物动态三维细节的人体动态三维重建。

2.根据权利要求1所述的衣物物理模型驱动的实时人体动态三维重建方法，其特征在于，所述S2中，使用融合多视点二维语义分割结果的方法生成三维人体语义分割体，用于对三维模型中所包含的不同衣物进行语义分割，得到不同衣物的单独三维模型，在分割体融合的过程中，借助非刚性变形场，实现动态二维语义分割结果在统一坐标系下的鲁棒融合。

3.根据权利要求1所述的衣物物理模型驱动的实时人体动态三维重建方法，其特征在于，在S3中，使用基于图像的人体语义分割方法从外表面上分割出不同的衣物表面模型。

4.根据权利要求1所述的衣物物理模型驱动的实时人体动态三维重建方法，其特征在于，在S4中，基于迭代最近邻点的方法进行人体骨架运动跟踪，定义一个穿透能量项用于约束和消除人体内表面与深度观测的相互穿透，最终用于人体骨架运动跟踪的能量方程为：

E_skel＝λ_dataE_data+λ_interE_inter+λ_priorE_prior

其中，E_data为数据项，E_prior为人体运动先验项，E_inter为穿透能量项，其具体定义为：

其中，为所有被穿透的人体表面顶点v_b与其对应的衣物深度观测上的最近点u_c构成的对应点对的集合；为u_c对应的顶点法向；代表沿顶点法向反方向的一个微小偏移量。

5.根据权利要求1所述的衣物物理模型驱动的实时人体动态三维重建方法，其特征在于，在所述S5中，选择基于经典的基于力模型的质点-弹簧方法构造衣物的物理仿真模型，在质点-弹簧法中，衣物被描述成为一个由有质量的顶点和无质量的虚拟弹簧连接而成的力学系统，其中，衣物的质量体现在其几何模型的所有顶点上，几何模型上所有的边都被当作无质量的虚拟的弹簧，模拟衣物产生的内力，在每一步的仿真过程中，基于力的物理仿真方法显式计算每个衣物顶点的合力。

6.根据权利要求5所述的衣物物理模型驱动的实时人体动态三维重建方法，其特征在于，所述S5进一步包括：

S51，仿真模型初始化：计算质点-弹簧系统的初始状态；

S52，物理仿真过程：在每次物理仿真时间步中，对于衣物网格上的每个顶点；

S53，合力计算：对每个衣物几何顶点，计算其所受的所有内力和外力的和，根据动力学基本定律计算该顶点在当前时刻的加速度，衣物的内力由不同类型的虚拟弹簧所产生，衣物所受的外力包括恒力及其它人为指定的外力；

S54，顶点位置更新：得到顶点加速度后，使用显式欧拉积分来更新各个顶点的空间位置；

S55，碰撞检测及处理：检测和处理人体与衣物、不同衣物之间及衣物自身的碰撞，关于虚拟弹簧，算法将衣物三角网格上的所有边当做拉伸弹簧，弹簧用于衣物自身表面方向的拉伸力，在两个三角面片的共同边上添加了扭转弹簧，通过对不同类型弹簧的刚性进行调整就可以对不同衣物材料进行模拟。