[发明专利]三维重建方法、装置、电子设备及存储介质

说明书

本公开是关于三维重建方法、装置、电子设备及存储介质，该方法包括：获取待重建人体的每个人体图像对应的人体模板和每个人体图像的法向图；对于每个人体图像，获取该人体图像对应的第一特征、该人体图像对应的第二特征、该人体图像对应的转换第三特征；基于每个人体图像对应的第一特征、每个人体图像对应的第二特征、每个人体图像对应的转换第三特征，得到待重建人体的融合特征；在与待重建人体相关的空间中采样空间点，得到空间点集合，基于空间点集合中的每个空间点对应的特征，确定空间点集合中的用于三维重建的空间点；基于每个用于三维重建的空间点，生成待重建人体的三维模型。

技术领域

本公开涉及互联网领域，具体涉及三维重建方法、装置、电子设备及存储介质。

背景技术

人体的三维重建技术被广泛应用在远程会议、网络直播等领域。多视角三维重建技术为利用多个包括待重建人体的人体图像得到待重建人体的三维模型的三维重建技术，多个包括待重建人体的人体图像通过多个相机分别拍摄待重建人体得到，每个相机的视角不同。

目前，多视角三维重建技术依赖每个相机的内参和外参。在通过多个人体图像进行三维重建之前，需要由用户预先对每个相机进行标定操作，以确定每个相机的内参和外参。导致需要用户进行繁琐的操作，才能通过多个人体图像进行三维重建。

发明内容

本公开提供一种三维重建方法、装置、电子设备及存储介质,以至少解决相关技术中的需要用户进行繁琐的操作，才能进行三维重建的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种三维重建方法，包括：

获取待重建人体的每个人体图像对应的人体模板，以及获取所述每个人体图像的法向图，其中，每个人体图像对应的视角不同；

对于所述每个人体图像，从所述人体图像中提取出所述人体图像对应的第一特征，从所述人体图像的法向图中提取出所述人体图像对应的第二特征，从所述人体图像对应的人体模板中提取出所述人体图像对应的原始第三特征，将所述人体图像对应的原始第三特征转换为所述人体图像对应的转换第三特征；

基于每个人体图像对应的第一特征、每个人体图像对应的第二特征、每个人体图像对应的转换第三特征，得到待重建人体的融合特征；

在与所述待重建人体相关的空间中采样空间点，得到空间点集合，基于所述空间点集合中的每个空间点对应的特征，确定所述空间点集合中的用于三维重建的空间点，其中，所述空间点对应的特征为所述待重建人体的融合特征中的对应于所述空间点的位置的特征；

基于每个用于三维重建的空间点，生成所述待重建人体的三维模型。

在一些实施例中，获取所述每个人体图像的法向图包括：

对于每个人体图像，将所述人体图像输入到生成对抗网络中，得到所述生成对抗网络输出的所述人体图像的法向图。

在一些实施例中，基于每个人体图像对应的所述第一特征、所述第二特征和所述转换第三特征，得到待重建人体的融合特征包括：

将每个人体图像对应的第一特征、每个人体图像对应的第二特征、每个人体图像对应的转换第三特征输入到具有注意力机制的神经网络中，得到具有注意力机制的神经网络输出的待重建人体的融合特征。

在一些实施例中，在与所述待重建人体相关的空间中采样空间点，得到空间点集合包括：

基于第一采样半径，在所述空间中的第一子空间中采样空间点，其中，所述第一子空间对应于所述待重建人体的可见部分，所述可见部分包含于至少一个人体图像中；

基于第二采样半径，在所述空间中的第二子空间中采样空间点，其中，所述第二子空间对应于所述待重建人体的不可见部分，所述不可见部分未包含于任意一个人体图像中，所述第一采样半径小于所述第二采样半径。