[发明专利]一种基于深度传感器的VR和AR输入设备

说明书

本发明适用于计算机领域，提供了一种基于深度传感器的VR和AR输入设备，包括：工作平面；采集模块，用于实时采集从手腕角度得到的手掌深度图像信息，所述手掌深度图像信息包括五个手指的相关深度图信息；动作估计模块，用于对实时采集的手掌深度图像信息进行估计，得到指尖相对于工作平面的动作估计信息；显示发送模块，用于根据指尖的动作估计信息在工作平面上显示指尖想要键入的信息，并且将该信息生成用户待确认信息，本发明的有益效果是，手的动作灵活，输入效率更高，高效准确。

技术领域

本发明属于计算机技术领域，尤其涉及一种基于深度传感器的VR和AR输入设备。

背景技术

在VR/AR/MR/XR场景下，高效的文字输入方法是一个有待解决的问题，目前使用的文字输入发多种多样，有用语音识别的，语音识别高效,但是语音识别并不能解决所有场景的问题。

在VR/AR/MR/XR办公的场景，还是需要高效的键盘类的输入法，针对物理键盘输入也有很多方案，比如：Meta(FaceBook）公司与Logitech公司合作，使得Logitech K830 可以和 Oculus Quest 2配合，实现物理键盘在虚拟环境下的完美呈现和手-键盘反馈交互，用户几乎感觉不到在VR环境下和在真实使用键盘情况下有什么不同。该方案的原理是，通过Oculus Quest 2的摄像头捕捉键盘和手的位置变化，当用户视角可以观察到键盘的时候，显示3D的虚拟键盘和虚拟的手，键盘和手的相对位置通过视觉方法准确捕捉。但是物理键盘有不便携带，不可透视等问题，该方案并不适合全场景的VR办公。

投影键盘，也是一种虚拟键盘，基于视觉定位原理，基本原理是，通过一个红外光源，把红外光投射到激光键盘区域（或没有激光投影的时候使用打印出来的固定的键盘区域），当手指在此固定区域动作的时候（按键），手指会与红外光交叉，形成反射光斑；系统会捕捉这个光斑，经过视觉的几何计算，确定此时的指尖位置，以此估计按键动作。但是键盘是靠打印出来或投影出来，与投影设备之间是固定的关系，人眼可见，但是在VR场景下键盘就不可见了，因此投影键盘方案不可在VR下使用。

基于肌电信号EMG的键盘方案，应用场景足够灵活可以适配各种VR/AR/MR/XR场景，该方案的基本原理是，通过传感器侦测手臂或手腕或手掌部分的肌电信号，或得机电信号后，通过信号处理的方法（通常使用深度神经网络DNN），获得肌电信号与手部动作之间的联系，从而通过肌电信号预测出手指的动作，再进一步预测出按键的动作。但是基于肌电信号EMG的键盘本身技术不成熟，在当前非植入传感器获取的肌电信号不能达到可用的输入准确度和输入速度。

基于运动跟踪的虚拟按键方案, 通过视觉和在人体上放置高精度运动追踪终标记的方法，捕获人体运动的细微变化轨迹（针对键盘应用，主要是追踪手部的动作），通过分析轨迹，来预测按键动作。由于运动跟踪系统复杂昂贵，并不适合量产和办公环境，仅仅可用于科研环境。

基于智能手套的键盘方案，可以通过手套内部的传感器，获得手指运动的状态，然后基于手指运动的状态，来预测按键动作。由于智能手套的设计主要为了满足其他的需求，做键盘的功能仅仅是副产品。而且手套戴在手上后，手的动作会变得不灵活，即使是相同的动作捕捉精度，输入仍然会慢，带上智能手套，也会妨碍用户用手做一些其他日常的动作。

发明内容

本发明实施例的目的在于提供一种基于深度传感器的VR和AR输入设备，旨在发明一种可以在VR/AR/MR/XR场景下，多种应用场景都可灵活使用的高效的文字输入设备，并可以具有扩展性，可以扩展出超越键盘的其他一些输入功能，比如：鼠标功能。

本发明实施例是这样实现的，一种基于深度传感器的VR和AR输入设备，包括：

工作平面校准子模块校准子模块校准子模块；

采集模块校准子模块校准子模块校准子模块，用于实时采集从手腕角度得到的手掌深度图像信息，所述手掌深度图像信息包括五个手指的相关深度图信息；