[发明专利]衣物物理模型驱动的实时人体动态三维重建方法及系统

说明书

本发明公开了一种衣物物理模型驱动的实时人体动态三维重建方法及系统，方法包括：使用深度相机对人体进行拍摄，获得彩色‑深度图序列；使用输入深度序列进行参数化人体模型匹配、模型表面非刚性运动跟踪以及基于深度融合的模型更新；使用彩色图像序列，基于深度学习方法进行多视角三维人体语义分割，获得不同衣物的独立几何模型，结合参数化人体模型构成多层人体模型；根据深度序列输入，使用双层人体表面进行人体运动跟踪，获得对应人体姿态信息；根据人体运动，对衣物运动进行物理仿真，结合输入深度信息，构造深度拟合外力，约束衣物物理仿真结果与深度输入相匹配。该方法求解准确高效，可以实现具有衣物精细动态细节的人体动态三维重建。

技术领域

本发明涉及计算机视觉和计算机图形学技术领域，特别涉及一种衣物物理模型驱动的实时人体动态三维重建方法及系统。

背景技术

现有影视及游戏制作中的动态衣物都是由人工设定关键帧或者使用衣物物理仿真生成的，目前在工业界和学术界仍然缺少一个便捷高效的方法可以对衣物运动直接进行精细地数字化捕捉。借助于人体动态三维重建系统重建出来的人体体形信息及衣物几何信息，在衣物物理特性已知的情况下，结合物理仿真方法对衣物进行精细地运动捕捉是非常具有挑战性也非常有意义的工作。该方向一方面可以大大提高人体动态三维重建的重建效果，另一方面也可以应用到衣物的制造及虚拟试衣领域，让人们可以试穿虚拟衣物。

现有的基于单RGBD相机的4D重建算法可以实现人体的几何、运动、表面纹理甚至表面反射率的重建，但是4D重建结果仍然不够逼真。主要原因有：首先，现有方法都使用单层几何进行动态人体4D重建，使用单层几何表达人体会在拓扑上将人体本身与所穿衣物连接在一起，因此不能跟踪甚至描述衣物与人体的交互运动(比如衣物相对人体的滑动和飘动)，这种单层几何表达也导致现有方法重建出来的4D结果无法直接进行有效编辑和驱动，因此很难直接应用到例如虚拟试衣等应用中；其次，人体所穿衣物的精细运动是很难用常用的动力学链条模型或者基于稀疏均匀采样的表面非刚性变形图来进行描述的，从而导致现有重建系统常常给出过于平滑的衣物动态重建结果；最后，在单视角有限输入的条件下，现有方法尚无法重建出被遮挡区域的衣物动态变形结果。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种衣物物理模型驱动的实时人体动态三维重建方法，该方法求解准确高效，可以实现具有衣物精细动态细节的人体动态三维重建，由于该方法为实时重建方法，可以应用于诸多交互式应用中，包括虚拟试衣、全息通讯等。

本发明的另一个目的在于提出一种衣物物理模型驱动的实时人体动态三维重建系统。

为达到上述目的，本发明一方面实施例提出了一种衣物物理模型驱动的实时人体动态三维重建方法，包括：

S1，使用深度相机对人体进行拍摄，获得彩色-深度图序列；

S2，使用所述彩色-深度图序列中的输入深度序列进行参数化人体模型匹配、模型表面非刚性运动跟踪以及基于深度融合的模型更新进行双层人体表面的重建；

S3，使用所述彩色-深度图序列中的彩色图像序列，基于深度学习方法进行多视角三维人体语义分割，获得不同衣物的独立几何模型，结合参数化人体模型构成多层人体模型；

S4，根据所述输入深度序列，使用双层人体表面进行人体运动跟踪，获得对应人体姿态信息；

S5，根据所述人体姿态信息，对衣物运动进行物理仿真，结合输入深度信息，构造深度拟合外力，约束衣物物理仿真结果与深度输入相匹配，以完成具有衣物动态三维细节的人体动态三维重建。