[发明专利]基于服装建模与仿真的视频人体三维重建方法及装置

摘要

本发明公开了一种基于服装建模与仿真的视频人体三维重建方法及装置，其中，方法包括：利用摄像机采集人体运动，通过图像提取人体的姿态和体态信息，并提取出人物不同衣物的分割信息，从而对人体和表面衣物进行建模，并根据人体的运动姿态对于表面衣物进行物理模拟和纹理仿真。人体模型重建方法基于人体模板匹配的方法，根据已有的基于单RGB图像估计人体模型的方法进行人体姿态和体型求解；衣物模拟主要利用粒子模拟方法，通过加入外力和内力约束来进行物理模拟并建模。该方法通过物理模拟方法，可以使得人体和衣物的联合运动能够得到比较好的重建，并适用于单RGB采集人体运动的人体和衣物重建。

主权项

1.一种基于服装建模与仿真的视频人体三维重建方法，其特征在于，包括：通过单RGB采集人体运动数据，并对所述人体运动数据进行前背景分割，并通过单RGB估计人体模板的方法多帧联合估计人体姿态和人体体型；根据所述人体体型使用人体模板对人体初始姿态进行建模，并将衣物初始二维布料模拟仿真以缝合并穿到初始姿态的人体身上；根据外力下衣物与人体之间的碰撞信息调整衣物参数，并使得三维模拟下的衣物满足合身条件；将人物姿态过渡变换到视频中第1帧的姿态下，同时对三维的衣物进行联合物理模拟；对视频的当前帧进行不同衣物的分割，并基于参数建模的衣物拟合衣物的分割图使得三维模拟下的衣物与所述视频中当前帧衣物的边缘部分达到吻合条件，并且对于所述视频中k帧关键，通过多帧信息优化求解衣物参数；根据所述衣物参数和所述人体姿态对所述视频里各帧进行人体姿态和衣物联合模拟建模；以及通过相机投影关系和原视频中的RGB信息，对建模的衣物进行纹理计算和贴图，并通过重光照重新渲染整个运动序列，得到体三维重建结果。