[发明专利]三维重建方法、装置、电子设备及存储介质

说明书

本发明提供一种三维重建方法、装置、电子设备及存储介质，获取第一目标对象的第一正面图像、以及第二目标对象的第二正面图像，第二正面图像中第二目标对象的服饰为第一目标对象待试装的服饰；进而，通过对第一正面图像进行姿态估计和人体分割，生成第一目标对象的三维模型和第一目标对象的肤色纹理图，以及，通过对第二正面图像进行姿态估计和服饰分割，生成第二目标对象的服饰的纹理图；进一步，将服饰的纹理图融合至肤色纹理图中，并将融合后的纹理图贴合至第一目标对象的三维模型中得到三维重建模型，该三维重建模型为第一目标对象试装服饰后的三维模型。

技术领域

本发明涉及多媒体智能处理技术领域，更具体地说，涉及一种三维重建方法、装置、电子设备及存储介质。

背景技术

虚拟试装是物联网的一个重要研究领域，人们常常在线上购物或者影视剧中看到某件心仪的衣服时，想看看穿到自己身上的效果。目前常用的虚拟试装方案主要分为2种，一种基于2D(two dimensional，二维)图片的虚拟试装方法，另外一种就是基于3D(threedimensional，三维)的虚拟试装方法。其中，基于2D图片的虚拟试装方法需要将进行衣服区域提取、衣服生成及变形、衣服融合等步骤，存在流程长、稳定性差和遮挡不鲁棒等问题；基于3D的虚拟试装方法需要对衣服进行3D建模，并将3D衣服自动穿着于人体，存在衣服建模流程复杂、3D衣服穿着时容易穿模、模拟不稳定等问题。

发明内容

有鉴于此，为解决上述问题，本发明提供一种三维重建方法、装置、电子设备及存储介质，技术方案如下：

一种三维重建方法，所述方法包括：

获取第一目标对象的第一正面图像、以及第二目标对象的第二正面图像，所述第二正面图像中所述第二目标对象的服饰为所述第一目标对象待试装的服饰；

通过对所述第一正面图像进行姿态估计和人体分割，生成所述第一目标对象的三维模型和所述第一目标对象的肤色纹理图；以及，对所述第二正面图像进行姿态估计和服饰分割，生成所述第二目标对象的服饰的纹理图；

将所述服饰的纹理图融合至所述肤色纹理图中，并将融合后的纹理图贴合至所述第一目标对象的三维模型中得到所述第一目标对象的三维重建模型，所述三维重建模型为所述第一目标对象试装服饰后的三维模型。

优选的，所述获取第一目标对象的第一正面图像，包括：

获取所述第一目标对象在T型姿势或A型姿势下全身的第一正面图像。

优选的，所述通过对所述第一正面图像进行姿态估计和人体分割，生成所述第一目标对象的三维模型和所述第一目标对象的肤色纹理图，包括：

对所述第一正面图像进行姿态估计得到所述第一目标对象的三维模型和第一相机参数，所述第一目标对象的三维模型中包含所述第一目标对象的姿态参数和形状参数；

对所述第一正面图像进行人体分割确定所述第一目标对象所在的第一图像区域，并在所述第一正面图像中将所述第一图像区域填充为肤色；

基于所述第一相机参数将所述第一目标对象的三维模型投影至填充后的所述第一正面图像中，以确定填充后的所述第一正面图像中的第一可见像素与所述第一目标对象的三维模型中顶点的对应关系，所述第一可见像素为填充后的所述第一正面图像中位于所述第一图像区域内的像素；

获取所述第一目标对象的三维模型中与所述第一可见像素具有对应关系的顶点在第一指定纹理图中的坐标，并基于所获取的坐标确定所述第一可见像素在所述第一指定纹理图中的纹理像素值，以将所述第一可见像素的纹理像素值构成所述第一目标对象的所述肤色纹理图。

优选的，所述对所述第二正面图像进行姿态估计和服饰分割，生成所述第二目标对象的服饰的纹理图，包括：