[发明专利]一种基于向内环视多RGBD相机的实时动态人体三维重建方法

说明书

本发明公开了一种基于向内环视多RGBD相机的实时动态人体三维重建方法，包括以下步骤：步骤S1：搭建多RGBD相机组，标定和采集数据，获取高精度模型；步骤S2：提取内嵌节点及其参数化；步骤S3：绑定内嵌节点到3D骨骼，并求解运动参数，及优化参数个数，向内嵌节点传播所述参数；步骤S4：求解非刚性运动；步骤S5：进行实时贴图。本方法实现成本低廉，搭建简单方便，可在日常场景下，对用户穿着、动作姿态、幅度、快慢无特殊要求的情况下，方法自动化程度高，无需人工干预，通过一系列基于GPU的算法得到实时动态高清的人体三维模型。可在远程全息通讯、远程教学、娱乐等领域得到广发应用。

技术领域

本发明涉及人体三维重建领域，尤其涉及一种基于向内环视多RGBD相机的实时动态人体三维重建方法。

背景技术

实时高精度三维人体重建是计算机视觉，计算机图形学等领域的重点前沿问题。此技术可广泛应用于增强现实、远程沉浸式通讯、三维视频直播等领域，具有很高的研究和商用价值。

目前主流的动态人体重建方法主要是非实时的重建及单RGBD相机重建技术。目前较为成熟的动态人体重建方法主要基于多个固定RGB相机的重建方法。从多个不同角度获取人体彩色图片，利用双目视觉等方法，重建出人体模型，重建的精度和完整度都较高。但数据量巨大，算法复杂度高，无法实现实时重建。单深度相机重建中，运用单个深度相机，如Kinect，通过实时估计已重建模型到当前姿态的变形，利用多帧深度融合的办法，最终生成完整的人体模型，并利用单相机RGBD信息进行驱动。但该方法最多只能获取人物一面的RGBD信息，因此使得整个系统为欠定系统，变形之后的模型仅一个半面和实际相符，且无法实时生成模型对应的贴图。

当前，深度相机的普及，使得基于多RGBD相机的重建系统成本大大降低。同时和静态多RGB相机重建系统相比，深度相机得到的深度信息精度较低，基于深度相机的重建系统还不能达到静态多RGB相机重建系统的精度。将两者结合起来实现动态人体实时三维重建成为自然的选择方向。

因此，本领域的技术人员致力于开发一种基于向内环视多RGBD相机的实时动态人体三维重建方法。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是实时动态人体三维模型重建。

本发明公开了一种基于多RGBD相机的人体实时三维重建系统，目的在于克服当前人体实时三维重建存在的种种限制，实时重建出高精度的动态人体模型。

为实现上述目的，本发明提供了一种基于向内环视多RGBD相机的实时动态人体三维重建方法，包括以下步骤：

步骤S1：搭建多RGBD相机组，标定和采集数据，获取高精度模型；所述相机组由大于等于4个可同步拍摄的RGBD相机组成；所述相机组360°包围环绕人体，所述相机固定位置后，计算出所述相机的运动参数，所述相机的运动参数包括内部参数和外部参数；

步骤S2：提取内嵌节点及其参数化；采用所述内嵌节点的方式对所述模型进行均匀采样，所述采样的采样点为控制点，所述控制点相互连接组成所述内嵌节点，所述内嵌节点带动整个模型运动，以和所述人体运动姿态进行精准匹配；所述模型为预重建模型；

步骤S3：绑定内嵌节点到3D骨骼，并求解运动参数，及优化参数个数，向内嵌节点传播所述参数；人体的运动骨骼与所述预重建模型的骨骼结构一致；所述骨骼的运动是级联的，父节点运动会带动子节点一起运动；实时求取所述预重建模型对应的骨骼到实时监测骨骼之间的运动参数，将所述模型骨骼和动态人物实际监测到的骨骼实时贴合，所述骨骼的径向转动通过与骨骼方向平行的面法向量转动得到；所述骨骼可获得所述模型的变换参数，并传播到所述内嵌节点上，以带动所述模型运动；

步骤S4：求解非刚性运动；使用基于GPU的高斯牛顿优化方法实时求解每个所述控制点的所述变换参数，带动所述预重建模型实时运动；