[发明专利]基于多体素块的手几何运动重建方法及装置

说明书

本发明公开了一种基于多体素块的手几何运动重建方法及装置，其中，方法包括以下步骤：根据首帧的深度数据获取人手骨架，并对多体素块进行初始化；通过多体素块中已重建好的手模型对手进行运动估计，以得到新的深度数据；将新的深度数据融合到多体素块中，更新手的几何模型，以同时重建手的运动和几何模型。该方法能够同时重建人手的几何模型和运动信息，避免了传统人手运动重建过程中对参数化模型的依赖，增强了人手重建技术的鲁棒性并拓展人手重建技术的应用范围，推动人手重建技术的发展。

技术领域

本发明涉及计算机视觉及图形学技术领域，特别涉及一种基于多体素块的手几何运动重建方法及装置。

背景技术

手的重建是计算机图形学领域中一个重要且基础的问题，在虚拟/增强现实、人机交互和人工智能领域内有着广泛的应用。例如，在虚拟现实领域中，通过重建人手的几何和运动，实现人手与虚拟物体之间的交互，增强人在虚拟环境中的真实感；在人机交互领域，近年来兴起的手势识别技术通过跟踪手的运动，将手特定的运动映射到指令集，可以代替传统的键盘和鼠标进行指令的下达，实现便携，智能的人机交互；在人工智能领域，通过实时采集和重建手的运动，并结合机器学习的方法可以实现手语的自动翻译。正是由于手的重建技术具有非常广泛的应用前景，因此具有极高的科研和应用价值。

然而，现有技术仍然存在缺陷，无法在重建手运动的同时重建真实且个性化的人手几何模型，限制了人手重建技术的应用范围。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于多体素块的手几何运动重建方法，能够增强人手重建技术的鲁棒性并拓展人手重建技术的应用范围。

本发明的另一个目的在于提出一种基于多体素块的手几何运动重建装置。

为达到上述目的，本发明一方面实施例提出了一种基于多体素块的手几何运动重建方法，包括以下步骤：根据首帧的深度数据获取人手骨架，并对多体素块进行初始化；通过所述多体素块中已重建好的手模型对手进行运动估计，以得到新的深度数据；以及将所述新的深度数据融合到所述多体素块中，更新手的几何模型，以同时重建手的运动和所述几何模型。

本发明实施例的基于多体素块的手几何运动重建方法，通过设置首帧的深度数据，从而对多体素块进行初始化，并得到新的深度数据，将新的深度数据融合到多体素块中，重建手的运动和所述几何模型，避免了传统人手运动重建过程中对参数化模型的依赖，增强了手重建技术的鲁棒性并拓展人手重建技术的应用范围，推动人手重建技术的发展。

另外，根据本发明上述实施例的基于多体素块的手几何运动重建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述根据首帧深度数据获取人手骨架，并对多体素块进行初始化，进一步包括：使用所述多个体素块分别对人手的手掌和手指进行重建；利用所述首帧获得的人手骨架获取预设姿态下的骨架，并得到首帧人手骨架相对于所述预设姿态骨架的运动；利用所述预设姿态的人手骨架获取每个体素块的尺寸；将所述预设姿态的人手骨架嵌入到所述多体素块中，并为所述每个体素计算最近的两根手骨；以及利用首帧手骨架的运动驱动多体素，以将所述首帧的深度数据融合到所述多体素块中，获得人手的初始模型。

进一步地，在本发明的一个实施例中，所述将所述新的深度数据融合到所述多体素块中，更新手的几何模型，以同时重建手的运动和所述几何模型，进一步包括：利用前一帧的人手运动作为初始值，并驱动当前预设姿态下的多体素块的tsdf场，以获得运动后的tsdf场；通过将当前深度数据约束到所述运动后tsdf场过零点，以求解人手的运动；以及利用所述人手的运动驱动体素块中的体素，将所述当前深度数据融合到所述多体素块中，更新人手模型。

进一步地，在本发明的一个实施例中，体素的运动可表示为：