[发明专利]基于服装建模与仿真的视频人体三维重建方法及装置

说明书

本发明公开了一种基于服装建模与仿真的视频人体三维重建方法及装置，其中，方法包括：利用摄像机采集人体运动，通过图像提取人体的姿态和体态信息，并提取出人物不同衣物的分割信息，从而对人体和表面衣物进行建模，并根据人体的运动姿态对于表面衣物进行物理模拟和纹理仿真。人体模型重建方法基于人体模板匹配的方法，根据已有的基于单RGB图像估计人体模型的方法进行人体姿态和体型求解；衣物模拟主要利用粒子模拟方法，通过加入外力和内力约束来进行物理模拟并建模。该方法通过物理模拟方法，可以使得人体和衣物的联合运动能够得到比较好的重建，并适用于单RGB采集人体运动的人体和衣物重建。

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于服装建模与仿真的视频人体三维重建方法及装置。

背景技术

三维重建在计算机视觉这个领域里，是目前一个科研和工业界都重点关注的技术。经过三维重建得到的模型在影音游戏、建筑学、基础工业等领域都有较高的研究和实用价值。

然而，关于人体三维及服装重建方法，由于人体动作和衣物材质较为丰富，因此是三维重建领域的一个较大的难题。现有的人体重建技术大部分是将人体和衣物作为一个完整模型进行重建，因此无法对衣物进行真实的物理仿真和建模。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于服装建模与仿真的视频人体三维重建方法，该方法通过物理模拟方法，可以使得人体和衣物的联合运动能够得到比较好的重建，并可以适用于单RGB采集人体运动的人体和衣物重建。

本发明的另一个目的在于提出一种基于服装建模与仿真的视频人体三维重建装置。

为达到上述目的，本发明一方面实施例提出了一种基于服装建模与仿真的视频人体三维重建方法，包括：通过单RGB采集人体运动数据，并对所述人体运动数据进行前背景分割，并通过单RGB估计人体模板的方法多帧联合估计人体姿态和人体体型；根据所述人体体型使用人体模板对人体初始姿态进行建模，并将衣物初始二维布料模拟仿真以缝合并穿到初始姿态的人体身上；根据外力下衣物与人体之间的碰撞信息调整衣物参数，并使得三维模拟下的衣物满足合身条件；将人物姿态过渡变换到视频中第1帧的姿态下，同时对三维的衣物进行联合物理模拟；对视频的当前帧进行不同衣物的分割，并基于参数建模的衣物拟合衣物的分割图使得三维模拟下的衣物与所述视频中当前帧衣物的边缘部分达到吻合条件，并且对于所述视频中k帧关键，通过多帧信息优化求解衣物参数；根据所述衣物参数和所述人体姿态对所述视频里各帧进行人体姿态和衣物联合模拟建模；通过相机投影关系和原视频中的RGB信息，对建模的衣物进行纹理计算和贴图，并通过重光照重新渲染整个运动序列，得到体三维重建结果。

本发明实施例的基于服装建模与仿真的视频人体三维重建方法，可以利用服装的二维布料参数信息，对衣物进行人物穿戴和运动模拟，并拟合视频里采集的真实图像，从而可以对单RGB视频中的人物和衣物同时进行建模和仿真，进而通过物理模拟方法，可以使得人体和衣物的联合运动能够得到比较好的重建，并可以适用于单RGB采集人体运动的人体和衣物重建。

另外，根据本发明上述实施例的基于服装建模与仿真的视频人体三维重建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，其中，每件衣物的分割图为和原始视频分辨率相同大小的二值图像。

进一步地，在本发明的一个实施例中，参数调整和优化过程中，衣物始终和人体进行联合模拟。

进一步地，在本发明的一个实施例中，所述通过多帧信息优化求解衣物参数，包括：对二值图像做距离变换操作，求出每个像素点到所述二值图像边界的二范数距离，并构成图像；对构成的所述图像作阈值处理。

进一步地，在本发明的一个实施例中，优化项为渲染图像和分割图像的偏差：