[发明专利]三维重建方法、装置、设备以及存储介质

说明书

本公开提供了三维重建方法、装置、设备以及存储介质，涉及人工智能领域，具体涉及计算机视觉和深度学习技术领域，可用于虚拟人和增强现实场景下。具体实现方案为：根据初始三维人体模型，确定对应的目标二维图像；对目标二维图像进行语义分割，确定目标二维图像中各像素点的语义标签；根据初始三维人体模型中的蒙皮顶点与目标二维图像中像素点的对应关系，确定各蒙皮顶点的语义标签；根据各蒙皮顶点的语义标签，确定各蒙皮顶点的目标权重；根据各目标权重，确定目标三维人体模型。本实现方式能够快速准确地确定各蒙皮顶点的权重，提高三维重建的速度和准确度。

技术领域

本公开涉及人工智能领域，具体涉及计算机视觉和深度学习技术领域，尤其涉及三维重建方法、装置、设备以及存储介质，可用于虚拟人和增强现实场景下。

背景技术

个性化的3D虚拟人形象，需要支持实时的面部表情、肢体动作与语音驱动等基本的控制，这些虚拟形象可以广泛的应用于社交、游戏、在线教育、虚拟主播、虚拟偶像等创新互动场景中，帮助视频、直播、社交、视频直播等平台用户找到趣味个性化的互动新玩法。

3D虚拟人形象的生成过程中包含了多个非常关键步骤，其中一点就是人体蒙皮，简单来说就是找到3D人体网格中能够随着人体骨骼系统的运动而发生真实形变的顶点，每个顶点都包含一个蒙皮权重，根据人体骨骼的运动，带动3D人体表面的顶点运动。如何准确地确定各个顶点的蒙皮权重是一项非常重要的研究方面。

发明内容

本公开提供了一种三维重建方法、装置、设备以及存储介质。

根据第一方面，提供了一种三维重建方法，包括：根据初始三维人体模型，确定对应的目标二维图像；对目标二维图像进行语义分割，确定目标二维图像中各像素点的语义标签；根据初始三维人体模型中的蒙皮顶点与目标二维图像中像素点的对应关系，确定各蒙皮顶点的语义标签；根据各蒙皮顶点的语义标签，确定各蒙皮顶点的目标权重；根据各目标权重，确定目标三维人体模型。

根据第二方面，提供了一种三维重建装置，包括：图像确定单元，被配置成根据初始三维人体模型，确定对应的目标二维图像；语义分割单元，被配置成对目标二维图像进行语义分割，确定目标二维图像中各像素点的语义标签；标签确定单元，被配置成根据初始三维人体模型中的蒙皮顶点与目标二维图像中像素点的对应关系，确定各蒙皮顶点的语义标签；权重确定单元，被配置成根据各蒙皮顶点的语义标签，确定各蒙皮顶点的目标权重；三维重建单元，被配置成根据各目标权重，确定目标三维人体模型。

根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，上述指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面所描述的方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，上述计算机指令用于使计算机执行如第一方面所描述的方法。

根据第五方面，一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现如第一方面所描述的方法。

根据本公开的技术能够快速准确地确定各蒙皮顶点的权重，提高三维重建的速度和准确度。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开的一个实施例可以应用于其中的示例性系统架构图；

图2是根据本公开的三维重建方法的一个实施例的流程图；

图3是根据本公开的三维重建方法的一个应用场景的示意图；

图4是根据本公开的三维重建方法的另一个实施例的流程图；