[发明专利]一种面向deskVR的手势跟踪识别联合策略方法

说明书

本发明公开了一种面向deskVR的手势跟踪识别联合策略方法,首先通过卷积神经网络离线训练手势公开数据集ICVL，得到一个鲁棒性好、准确率高以及识别速度快的模型，并且通过合成数据测试联合方法准确率与速度的平衡点Rate，然后通过深度摄像头实时捕获深度图像，在对图像一系列预处理之后，根据手图像占比比例分别传入基于快速模型的手势识别方法或基于五区域卷积神经网络模型，返回识别后的关节点三维信息，进而映射三维人体模型。利用本发明的识别方法，在deskVR应用环境下具有良好的交互功能，在识别率、运算速度、普适性及准确性等方面表现良好。

技术领域

本发明属于人机交互技术领域，尤其是涉及一种面向deskVR的手势 跟踪识别联合策略方法。

背景技术

沉浸式应用程序的典型代表是桌面VR。它可以广泛用于数据分析， 观看VR电影。这些应用一般提供立体视觉和头部跟踪，同时它们还需要 为人机交互提供手势识别。坐在椅子上并将肘部放在桌子上使得可以在 VR环境中进行长时间的手势交互。由于头戴式显示器(HMD)会阻挡眼 睛观察现实世界，因此鼠标和键盘不再适合沉浸式虚拟环境。手柄是成本 最低的最成熟的解决方案，然而用户不能直接控制。

目前，市场上的手势传感器，包括Leap Motion，使用“HMD+手势 传感器”来实现通常的以自我为中心的VR交互。但是这种手势识别方法 不适用于桌面VR的应用场景，因为它具有以下特点：1)有限的手势活 动范围：一般来说，VR体验是从自由视角观看的，受手势传感器范围的 限制，必须将手势传感器附着于VR头戴式显示器上。虽然这种设置确保 可以在各种位置跟踪手势，不会随着人体移动而跟踪丢失，但是眼睛必须 跟随手的运动。2)严重的自闭塞：由于手指的4自由度(DOF)，自闭 塞是自我中心观点中的常见问题。现有方法本身是VR中手势交互进一步 自我遮挡的原因(手势传感器固定在VR耳机上)。尽管确保传感器检测 到的手的图像完整，但是手指位置的视觉信息很容易被手背遮挡。在这种 情况下。当前的手势识别方法仍然难以准确地识别大的遮挡区域下的关节 位置。3)容易疲劳：桌面VR体验要求用户佩戴VR设备。重型装置很 容易在短时间内引起颈部疲劳，特别是坐着。随着制造商减轻HMD设备 的重量，在VR耳机上捆绑更多传感器似乎是不明智的。

基于deskVR场景，即用户坐在办公椅上进行交互操作，我们提出了 使用前置摄像头的裸手跟踪技术。具体来说，我们采用计算机视觉技术和 深度相机进行3D手部跟踪，可以避免亮度干扰。因此，用户可以专注于 场景的内容，而不需要眼睛跟随手的移动。这种设置可以释放用户的视线， 减少用户限制并确保交互的自然性。