[发明专利]一种三维重建方法、装置及系统

说明书

本申请涉及人机交互技术领域，提供一种三维重建方法、装置及系统，通过接收用于三维重建的运动位姿数据；根据所述运动位姿数据中人体关节点与预先构建的参数化人体模型中人体关节点的关系，以及所述参数化人体模型中人体关节点与几何顶点的关系，用所述运动位姿数据驱动所述参数化人体模型中的几何数据运动；根据所述运动位姿数据和运动后的几何数据，重建参数化人体模型，从而实现动态的三维重建，且重建过程无需接收三维重建的几何数据，减少重建过程中数据占用的带宽，提高了数据的接收效率，进而减小了三维重建的时延。

技术领域

本申请涉及人机交互技术领域，尤其涉及一种三维重建方法、装置及系统。

背景技术

远程三维通信交互系统的核心技术是对人体的三维重建。三维重建信息涉及形态、姿态和纹理数据，首先从各类传感器获得的采集信息作为输入，然后使用三维重建方法进行处理，从而重建出人体三维信息。目前，虚拟现实(Virtual Reality，VR)技术和增强现实(Augmented Reality，AR)技术从军事和工业领域正逐步扩展到娱乐和生活领域，改变了人们的社交方式。形象逼真的虚拟化身在虚拟空间中与其它虚拟化身进行社交，重现了第一代社交方式中面对面的沉浸感，虚拟/增强现实社交方式可能成为继第四代移动互联网时代之后的第五代社交媒体。

目前，精度较高的静态三维重建方法仍需使用光学扫描仪(可见结构光或激光扫描仪)，这类方法要求采集对象在整个扫描过程中保持静止不动数秒甚至数分钟的时间，通过将多个角度的高精度三维扫描信息进行拼接最终重建出高精度的人体静态三维模型。因此，基于光学扫描仪的三维方法存在一些固有缺陷，比如扫描时间长且需要采集对象静止不动、需要具有专业知识的人员进行扫描操作以及扫描仪价格较为昂贵等。而动态三维重建方法中图像的分辨率越高，用于三维重建的数据量越大，占用的带宽越多，使得远程三维通信过程中云端传输的压力越大。因此，本申请提出一种基于RGBD相机的三维重建方法。

发明内容

本申请提供了一种三维重建方法、装置及系统，用以实现动态三维重建以及减小重建数据占用的带宽。

第一方面，本申请提供一种三维重建方法，包括：

接收用于三维重建的运动位姿数据；

根据所述运动位姿数据中人体关节点与参数化人体模型中人体关节点的关系，以及所述参数化人体模型中人体关节点与几何顶点的关系，用所述运动位姿数据驱动所述参数化人体模型中的几何数据运动，所述参数化人体模型是通过人体的不同形体参数和不同姿态参数预先构建的；

根据所述运动位姿数据和运动后的几何数据，重建参数化人体模型。

第二方面，本申请提供一种显示设备，包括显示器、存储器、处理器：

所述显示器，与所述处理器连接，用于显示人体模型；

所述存储器，与所述处理器连接，用于存储计算机程序指令；

所述处理器，用于根据所述存储器存储的计算机程序指令，执行以下操作：

接收用于三维重建的运动位姿数据；

根据所述运动位姿数据中人体关节点与参数化人体模型中人体关节点的关系，以及所述参数化人体模型中人体关节点与几何顶点的关系，用所述运动位姿数据驱动所述参数化人体模型中的几何数据运动，所述参数化人体模型是通过人体的不同形体参数和不同姿态参数预先构建的；

根据所述运动位姿数据和运动后的几何数据，重建参数化人体模型。