[发明专利]人体三维重建模型训练方法、人体三维重建方法和设备

权利要求书

1.一种人体三维重建模型训练方法，其特征在于，包括：

获取人体模型视频，其中，所述人体模型视频包括不同人体和不同人体姿势，以及使用STAR模型生成多个人体骨骼蒙皮模型的数据对，根据所述数据对对神经人体表征网络进行第一次训练，得到第一人体姿态参数；

根据所述人体模型视频，对第一次训练后的神经人体表征网络进行第二次训练，得到神经人体表征网络的输出，其中，第一次训练后的所述神经人体表征网络的部分权重被冻结，所述部分权重为神经人体表征网络进行第一训练得到的人体姿态参数对应的权重；

根据所述神经人体表征网络的输出和所述人体模型视频，训练MLP网络；

所述神经人体表征网络和所述MLP网络训练完成后，得到人体三维重建模型。

2.根据权利要求1所述的人体三维重建模型训练方法，其特征在于，所述根据所述人体模型视频，对第一次训练后的神经人体表征网络进行第二次训练，得到神经人体表征网络的输出，包括：

根据所述人体模型视频，通过HMR方法，得到第二人体姿态参数；

根据所述第二人体姿态参数对第一次训练后的神经人体表征网络进行第二次训练，得到神经人体表征网络的输出。

3.根据权利要求1所述的人体三维重建模型训练方法，其特征在于，所述使用STAR模型生成多个人体骨骼蒙皮模型的数据对，根据所述数据对对神经人体表征网络进行第一次训练，得到第一人体姿态参数，包括：

获取骨骼-关键点真实值和人体投影真实值；

使用STAR模型生成多个人体骨骼蒙皮模型的数据对，通过神经人体表征网络，得到骨骼-关键点预测值和人体投影预测值；

计算所述骨骼-关键点真实值与所述骨骼-关键点预测值的损失，得到骨骼-关键点损失；

计算所述人体投影真实值与所述人体投影预测值的损失，得到人体投影损失；

根据所述骨骼-关键点损失和所述人体投影损失，优化神经人体表征网络的参数，得到所述第一人体姿态参数。

4.根据权利要求1所述的人体三维重建模型训练方法，其特征在于，所述根据所述神经人体表征网络的输出和所述人体模型视频，训练MLP网络，包括：

根据所述神经人体表征网络的输出和所述人体模型视频进行新视图合成损失处理、有向距离场正则化损失处理和表面变形场正则化损失处理；

根据新视图合成损失、有向距离场正则化损失和表面变形场正则化损失优化MLP网络。

5.一种人体三维重建方法，其特征在于，包括：

获取人体RGB图像；

根据所述人体RGB图像，通过HMR方法，得到人体姿态参数；

将所述人体姿态参数输入人体三维重建模型中，得到人体三维重建图，其中，所述人体三维重建模型为基于权利要求1-4中任一项所述方法训练得到的模型。

6.根据权利要求5所述的人体三维重建方法，其特征在于，所述将所述人体姿态参数输入人体三维重建模型中，得到人体三维重建图，包括：

将所述人体姿态参数输入所述人体三维重建模型中的神经人体表征网络，得到初始有向距离场S₀和人体骨骼；

设定空间中任意一点p，根据所述初始有向距离场S₀和所述人体骨骼，通过MLP网络，得到p点有向距离和p点色彩纹理，形成所述人体三维重建图，其中，所述空间为人体模型所在的空间，所述有向距离为初始有向距离场S₀中的其中一个有向距离。

7.根据权利要求6所述的人体三维重建方法，其特征在于，所述设定空间中任意一点p，根据所述初始有向距离场S₀和所述人体骨骼，通过MLP网络，得到p点色彩纹理，形成所述人体三维重建图，包括：

根据所述人体姿态参数、所述有向距离场S₀和所述人体骨骼，使用MarchingCube算法，获取人体表面；

根据所述人体表面，得到p点在RGB图像上对应色彩纹理I(p)，通过MLP网络得到p点色彩纹理，形成所述人体三维重建图。