[发明专利]人体三维重建模型训练方法、人体三维重建方法和设备

说明书

本申请涉及深度学习技术领域，特别是涉及到一种人体三维重建模型训练方法、人体三维重建方法和设备。基于神经人体表征网络和MLP网络的超写实人体重建方法，同时发挥参数化模型先验信息丰富、所得重建结果包含具有生物学与解剖学意义的骨骼信息的优势，和神经辐射场‑表面变形场方法重建精度高的优势，使得超写实、可驱动的数字人自动化重建成为可能。方法自动化程度高、全程无需人工干预，所得重建结果兼容主流商业动画制作软件/流水线，将极大降低超写实虚拟数字人制作的成本，提高准确地构建动态人体模型的效率。生成的人体模型可以用于金融理财产品导购时或售后服务解答时的虚拟客服人物形象，显著降低企业制作虚拟人模型的成本。

技术领域

本申请涉及深度学习技术领域，特别是涉及到一种人体三维重建模型训练方法、人体三维重建方法和相关设备。

背景技术

元宇宙和虚拟现实/增强现实等技术近年来发展迅猛，虚拟主播、数字化身、电影及游戏制作等领域均展现出极大的发展潜力，相关产业市场规模稳步提升。而三维数字人作为虚拟世界的重要组成部分和虚拟交互的主体，与其密切相关的人体三维重建、数字人驱动等领域受到了业界、学界的广泛关注，成为计算机视觉、计算机图形学等领域共同的研究热点。

当前，商用高质量人体模型的获取方法主要有：美工制作、专用硬件扫描、多视角三维重建等，此类方法可以获取精细的人体模型甚至表面材质等信息，但成本高昂。随着深度学习技术的发展，各类稀疏视角重建方法大量涌现，基于参数化模型的方法和基于隐式函数场的方法发展迅猛。但此类方法仍存在一些问题：隐式函数场方法倾向于重建静态人体，难以直接用于商用动画制作管线；参数化模型表征能力有限，只能获取裸体模型。生成的人体模型可以用于金融理财产品导购时或售后服务解答时的虚拟客服人物形象，显著降低企业制作虚拟人模型的成本。

发明内容

本申请的主要目的为提供一种人体三维重建模型训练方法、人体三维重建方法和相关设备，旨在解决现有技术中不能准确地构建动态人体模型的问题。

为了实现上述发明目的，本申请提出一种人体三维重建模型训练方法，包括：

获取人体模型视频，其中，所述人体模型视频包括不同人体和不同人体姿势，以及使用STAR模型生成多个人体骨骼蒙皮模型的数据对，根据所述数据对对神经人体表征网络进行第一次训练，得到第一人体姿态参数；

根据所述人体模型视频，对第一次训练后的神经人体表征网络进行第二次训练，得到神经人体表征网络的输出，其中，第一次训练后的所述神经人体表征网络的部分权重被冻结，所述部分权重为神经人体表征网络进行第一训练得到的人体姿态参数对应的权重；

根据所述神经人体表征网络的输出和所述人体模型视频，训练MLP网络；

所述神经人体表征网络和所述MLP网络训练完成后，得到人体三维重建模型。

本申请还提供了一种人体三维重建方法，包括：

获取人体RGB图像；

根据所述人体RGB图像，通过HMR方法，得到人体姿态参数；

将所述人体姿态参数输入人体三维重建模型中，得到人体三维重建图，其中，所述人体三维重建模型为上述任一项所述方法训练得到的模型。

本申请还提供了一种人体三维重建模型训练装置，所述装置包括：

第一训练模块，用于获取人体模型视频，其中，所述人体模型视频包括不同人体和不同人体姿势，以及使用STAR模型生成多个人体骨骼蒙皮模型的数据对，根据所述数据对对神经人体表征网络进行第一次训练，得到第一人体姿态参数；

第二训练模块，用于根据所述人体模型视频，对第一次训练后的神经人体表征网络进行第二次训练，得到神经人体表征网络的输出，其中，第一次训练后的所述神经人体表征网络的部分权重被冻结，所述部分权重为神经人体表征网络进行第一训练得到的人体姿态参数对应的权重；