[发明专利]头戴式显示设备的输入控制方法、装置及头戴式显示设备

说明书

本公开涉及一种头戴式显示设备的输入控制方法、装置、头戴式显示设备及计算机可读存储介质。该头戴式显示设备包括用于摄取目标区域的目标图像的至少一个相机，该方法包括：在显示界面显示有多个虚拟按键的情况下，识别目标图像中是否存在挤压姿态手势；其中，挤压姿态手势包括：人手中的第一手指的指尖点挤压在该人手中第二手指的一个指关节点上；在识别目标图像中存在挤压姿态手势的情况下，根据预设的多个指关节与多个虚拟按键的对应关系，将挤压姿态手势中被挤压的指关节对应的虚拟按键确定为目标虚拟按键；将目标虚拟按键对应的信息作为用户输入信息。

技术领域

本公开实施例涉及虚拟现实技术领域，更具体地，涉及一种头戴式显示设备的输入控制方法、装置、头戴式显示设备及计算机可读存储介质。

背景技术

头戴式显示设备(Head Mounted Display，HMD)是一种可以穿戴在用户头部的显示设备，能够实现虚拟现实(Virtual Reality，VR)、增强现实(Augmented Reality，AR)和混合现实(Mixed Reality，MR)等不同效果。

HMD在使用时会使用户的头部或者眼睛会处于封闭环境，以使用户能够沉浸在虚拟环境中。为了展示AR和MR中的现实内容，HMD上还会安装至少一个彩色相机，以便通过至少一个彩色相机摄取现实世界中的现实图像并将其投影至人眼，从而模拟用户直接看外部的三维物理空间环境。HMD通过其上的显示界面显示经过叠加处理的现实图像和虚拟图像。

随着HMD应用领域的增多(例如娱乐领域、医疗领域、教育领域、工业领域等)，HMD的显示界面中能够显示多种多样的虚拟现实场景(或增强现实场景或混合现实场景)。许多场景下，HMD需要外接例如手柄控制器等额外的硬件设备，以便通过该硬件设备来获得用户的输入信息，实现人机交互。

发明内容

本公开实施例的一个目的是提供一种头戴式显示设备的输入控制的新的技术方案。

根据本公开的第一方面，提供了一种头戴式显示设备的输入控制方法，该头戴式显示设备包括用于摄取目标区域的目标图像的至少一个相机；该方法包括：在显示界面显示有多个虚拟按键的情况下，识别目标图像中是否存在挤压姿态手势；其中，挤压姿态手势包括：人手中的第一手指的指尖点挤压在该人手中第二手指的一个指关节点上；在识别目标图像中存在挤压姿态手势的情况下，根据预设的多个指关节与多个虚拟按键的对应关系，将挤压姿态手势中被挤压的指关节对应的虚拟按键确定为目标虚拟按键；将目标虚拟按键对应的信息作为用户输入信息。

可选地，确定目标图像中是否存在挤压姿态手势，包括：检测目标图像中是否存在人手；在检测到目标图像中存在人手的情况下，识别人手上的骨骼点；其中，骨骼点包括人手的每个手指上的指尖点和指关节点、以及连接人手的腕关节点；实时获取人手上的骨骼点的三维空间位置信息；对人手上的骨骼点的三维空间位置信息进行追踪，以确定第一手指上的指尖点和第二手指上的一个指关节点满足重叠条件的情况下，根据目标图像确定用户是否做出挤压姿态手势。

可选地，对人手上的骨骼点的三维空间位置信息进行追踪，包括：获取预定帧数的人手上的骨骼点的三维空间位置信息；对各骨骼点的三维空间位置信息进行平滑滤波处理，将处理结果作为追踪结果。

可选地，重叠条件包括：第一手指上的指尖点和第二手指上的一个指关节点发生重叠且重叠状态的持续帧数大于预设帧数。

可选地，第一手指为大拇指，第二手指为食指、中指和无名指中任一个。

可选地，多个虚拟按键包括9个虚拟按键，9个虚拟按键与所有第二手指的指关节点一一对应。

可选地，该方法还包括：在目标虚拟按键对应一个信息情况下，将目标虚拟按键对应的该信息作为用户输入信息；在目标虚拟按键对应按照预设顺序排列的n个信息情况下，在连续m次将同一指关节点对应的虚拟按键确定为目标虚拟按键时，将目标虚拟按键对应的第m个信息作为用户输入信息；其中，n为自然数且n1；m为自然数且n≥m1。