[发明专利]一种大范围实时人体三维重建方法

说明书

一种大范围实时人体三维重建方法，该方法包括数据采集、运动变形和数据融合三个步骤，所述数据采集，通过多台相机采集场景中的人体图像；所述运动变形，根据下一帧模型的变化对上一帧生成的模型进行变形，直到上一帧生成的模型变形到与下一帧模型相同时停止运动变形；所述数据融合，将变形后的模型关键帧与模型当前帧数据进行融合，得到制作完成的模型，通过模型变化展示动作。本发明通过多帧数据的累积，大大消除了模型当前帧的噪声，补充了模型当前帧数据的缺陷，提高了每一帧数据的质量并具有良好的连续性。

技术领域

本发明涉及三维图像重建技术领域，具体的说是一种大范围实时人体三维重建方法。

背景技术

在过去的十年中，智能化的通讯和交互技术得到了快速地发展。随着智能手机的普及和广泛应用，使得人们对交互的方式有了更新的认识和更高的要求，人们开始探求如何能让交互方式变得更加真实，虚拟现实技术应运而生。2015年9月，在AltspaceVR的发布会上，Altspace宣布将支持三星Gear VR头盔，然而它并没有直播创始人兼CEO恩里克·罗莫的演讲，而是罗莫的虚拟形象与一群记者的虚拟形象在一个虚拟的环境中一起交谈，其中虚拟形象的动作是由罗莫和这群记者动作的映射而来的。同样，2016年10月，在OculusConnect3的开发者大会上，扎克伯格和他的同事带上了Oculus Rift头盔和Oculus Touch手柄在虚拟环境中做了一段VR社交的实际操作演示。这些VR社交的技术都是针对社交对象的位置、方向、基本姿态、表情等的跟踪，并不能让真实的人体对象在虚拟三维场景当中重现。

关于人体三维重建，目前主要分为多个RGB-D传感器配准融合的方法和单个RGB-D传感器移动扫描的方法。第一种，比如Cyberware公司研制的两款全身彩色三维扫描仪产品WB4和WBX，通过四个扫描头从头到脚进行三维测量，在几十秒的时间内创建一个准确的三维数据集；第二种，比如微软Alexander Weiss等人研发的基于红外线的深度传感器Kinect，通过移动单个Kinect传感器扫描人体来获取整个三维人体模型。这两种方法都是可以实现对人体模型的重建，但不能实时重建动态的人体。

目前，针对大范围场景如人体及周围环境的三维重建主要以局部扫描并重建、先多次扫描并拼接之后合成重建等过程，因为数据量庞大、处理复杂度高，因此，很难做到实时采集、处理并且在实时的情况下很难保证生成模型的质量。

发明内容

为了解决上述技术问题，本发明提供了一种大范围实时人体三维重建方法，能够让真实的人体对象在虚拟三维场景中重现，并且能很好地解决在VR社交中看不到真实社交对象的问题，实现实时生成多角度的三维数据后，进行拼接融合，并生成高质量的人体模型。

本发明为解决上述技术问题采用的技术方案为：一种大范围实时人体三维重建方法，该方法包括如下步骤：

步骤一、数据采集：通过多台相机采集场景中的人体图像，并且对采集的人体图像进行如下处理：

（1）、通过计算视差获得整个场景各个角度的深度信息，通过深度信息计算出当前帧数据，并在当前帧数据中提取用于变形的关键帧数据，之后采用Marching Cube方法计算当前帧数据和提取的关键帧数据得到当前帧模型和关键帧模型；

（2）、生成RGB对应信息，RGB对应信息用于描述相邻两帧RGB图像中的对应点；

（3）、计算生成前景部分和背景部分的分割图，用于生成可视壳模型；

步骤二、运动变形：根据下一帧当前帧模型的变化对上一帧生成的关键帧模型进行变形，直到上一帧生成的关键帧模型变形到与下一帧当前帧模型的姿态相同时停止运动变形；所述运动变形包括如下步骤：

S1、对步骤一得到的关键帧模型的顶点采样得到变形点；

S2、对变形点变形参数初始化，得初始化之后的变形参数；