[发明专利]基于先验模型的实时人体三维重建方法

说明书

本发明公开了一种基于先验模型的实时人体三维重建方法，实现了基于双层人体结构的人体实时跟踪、融合、重建方法，可以通过单目深度摄像头捕获的数据，快速匹配人体的非刚体运动，同时刻画出外层表面如衣服、背包等物体的细节信息。本发明主要包括两个步骤：1)基于先验人体模型进行快速匹配人体动作，带动外层融合重建表面进行初始变换；2)基于双层结构进行联合跟踪，使外层融合重建表面在细节上匹配到当前深度。此外，本发明结合先验人体模型的语义信息，提出了动态阈值匹配与动态权重计算策略，还解决了传统方案中存在的体素碰撞问题，进一步提高了跟踪质量，能够处理手交叉等高难度情况。

技术领域

本发明涉及三维重建技术领域，尤其涉及一种基于先验模型的实时人体三维重建方法。

背景技术

最近十年的计算机视觉和计算机图形学领域的研究中，人体运动跟踪及其重建已经成为了一项具有挑战性的研究课题。之前的研究中，有很多系统利用多个彩色摄像机和深度摄像机，来获取多视角的数据进行人体的运动跟踪和重建，虽然能够得到高质量的重建效果，但是多个拍摄设配增加了成本，以及多种设备之间的同步问题使得整个拍摄系统更加复杂，最后导致整个系统难以调控，对于普通科研工作者及其用户来说具有一定的局限性。

深度相机的出现，使得三维重建在游戏、虚拟现实、增强现实、数字娱乐等领域的应用越来越成熟。深度相机获取几何数据可达到30帧每秒，在动态物体，例如人体的三维重建上具有优势。更多的研究倾向于使用深度相机来进行跟踪和重建人体。然而，由于深度相机获取的深度图噪声较大，使得动态数据注册困难。

动态融合(DynamicFusion)结合了非刚体表面运动的跟踪和基于体素融合方法来重建恢复所拍摄到的人或者物体，它能够通过单个深度摄像头实时的进行跟踪重建而不需要预先扫描和使用任何模板，同时这样的系统成本低且易于部署。后续的许多工作都是延续了这样的思路，虽然不同程度的提升了跟踪重建的质量，但是还是难以应对快速的运动。另外，类似的系统还存在其他的挑战：单个摄像头带来的遮挡；如何达到实时跟踪重建；重建中物体是否能够闭环；不使用预先扫描的模板等。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于先验模型的实时人体三维重建方法，该方法以双层人体结构为基础，以单目深度相机为输入跟踪重建目标人物，不仅能够捕获快速的人体运动同时恢复表面的细节，从而用于游戏、虚拟现实、增强现实、数字娱乐等领域，给用户带来更加真实的体验。

为了实现上述目的，本发明采用如下技术方案：一种基于先验模型的实时人体三维重建方法，该方法包括以下步骤：

S1：通过单目深度相机采集第一帧深度数据；

S2：初始化先验人体模型，通过先验人体模型跟踪对齐第一帧深度数据；

S3：建立双层人体结构，包括双层表面和双层节点；

S4：接收下一帧深度数据，在双层人体结构与深度数据之间寻找对应点对；

S5：根据对应点对的匹配结果，动态调整目标函数权重，进行基于双层人体结构的跟踪；

S6：通过体素碰撞检测结果，有选择的融合深度数据并恢复重建表面细节。

进一步地，所述S1中，第一帧深度数据尽量使得人体以某个固定姿势朝向深度相机；对第一帧深度数据进行预处理，包括双边滤波、膨胀腐蚀、异常点检测、通过包围盒选定有效区域。

进一步地，所述S2包括以下子步骤：

S21：根据先验人体模型上顶点与关节的关系，将模型划分为不同部位；

S22：根据各部位的语义信息，设置该部位用于寻找对应点对的距离和角度阈值的初始值；