[发明专利]人体虚实匹配方法、装置、设备及存储介质

说明书

本发明实施例公开了一种人体虚实匹配方法、装置、设备及存储介质。当检测到第一肢体触碰到第一物体时，判断第二肢体是否触碰到第二物体；若所述第二肢体未触碰到所述第二物体，则获取触碰点的第一三维位置信息；其中，所述触碰点为所述第一肢体触碰所述第一物体的点；根据所述触碰点的三维位置信息控制所述第二肢体移动，使得所述第二肢体与所述第二物体触碰。本发明实施例提供的人体虚实匹配方法，当第一肢体触碰到第一物体，而第二肢体未触碰第二物体时，根据触碰点的三维位置信息控制第二肢体移动，使得第二肢体与第二物体触碰，以实现实际人体与虚拟人体的匹配，可以降低虚实匹配的计算量，提高虚实匹配的效率。

技术领域

本发明实施例涉及混合现实技术领域，尤其涉及一种人体虚实匹配方法、装置、设备及存储介质。

背景技术

混合现实(Mix Reality，MR)，是合并现实世界和虚拟世界而产生的新的可视化环境，可实现物理和数字对象共存，并实时互动。此技术手段兼具虚拟与实物的优势，相较于纯虚拟仿真，可以使用部分关键实物为真实人提供触感以增加仿真的真实感；相较于纯实物仿真，可以使用虚拟场景替代大量实物以减少成本并提高可变性。随着计算机软硬件技术的发展，MR技术逐渐受到了航空、航天、高铁、船舶及汽车等领域的关注，开始在产品设计评估、复杂大部件制造装配、操作培训及维修保障等方面进行应用研究与推广。

混合现实的核心在于虚实匹配，即达到以人的主观感受为依据，虚拟场景与真实场景完全匹配，难以分辨的效果。为此，需要依赖运动捕捉设备，精确获取真实场景物体的运动信息，并以此驱动虚拟场景对应模型进行同步变换，实现两者的融合。目前，针对刚体，精度最高的光学运动捕捉设备已具备亚毫米级的运动追踪精度，可实现虚实匹配。但是，对于最为核心的人体，由于动作复杂性、肢体柔性、建模精度以及环境干扰等诸多因素，现有运动捕捉设备甚至难以实现厘米级精度的运动捕捉，导致难以实现精准的虚实匹配。这一问题在进行实物交互时会产生显著影响，当真实人已经触碰到操纵部件时，真实人所见虚拟场景中的数字人与操纵部件间仍会存在间隔，或者已经没入其中。这种触感与视觉的不匹配会破坏系统的真实感与沉浸感，降低仿真的效果。。

目前，主流的解决方法采取正向解决思路，集中于针对人体运动捕捉算法以及人体建模精度的优化，利用混合追踪、IK算法、扫描建模等进行追踪结果的优化，随后通过在虚实对象同一位置设定并匹配标定点实现虚实匹配。然而由于人体运动复杂度过高、个体间差异过大，应用此类方法往往通过对某一特定人体、特定应用进行针对性参数调整方能生效，工作量大，效率低，难以解决通用问题。

发明内容

本发明实施例提供一种人体虚实匹配方法、装置、设备及存储介质，以实现实际人体与虚拟人体的匹配，可以降低虚实匹配的计算量，提高虚实匹配的效率。

第一方面，本发明实施例提供了一种人体虚实匹配方法，包括：

当检测到第一肢体触碰到第一物体时，判断第二肢体是否触碰到第二物体；

若所述第二肢体未触碰到所述第二物体，则获取触碰点的第一三维位置信息；其中，所述触碰点为所述第一肢体触碰所述第一物体的点；

根据所述触碰点的三维位置信息控制所述第二肢体移动，使得所述第二肢体与所述第二物体触碰；其中，当第一肢体为实际肢体及第一物体为实际物体时，第二肢体为虚拟肢体，第二物体为虚拟物体；当第一肢体为虚拟肢体及第一物体为虚拟物体时，第二肢体为实际肢体，第二物体为实际物体。

进一步地，当第一肢体实际肢体及第一物体为实际物体时，获取所述触碰点的第一三维位置信息，包括：

获取相机拍摄的实际肢体触碰实际物体的平面图像；

从所述平面图像提取触碰点的二维坐标信息；

基于相机成像模型根据所述二维坐标信息确定所述触碰点所在的空间直线；

确定所述空间直线与所述实际物体的交点信息，确定为所述触碰点的三维位置信息。