[实用新型]一种基于手势识别的虚拟现实交互设备

说明书

技术领域

本实用新型涉及人机交互技术，尤其涉及一种基于手势识别的虚拟现实交互设备。

背景技术

随着移动计算设备从笔记本电脑到手机、平板电脑的演化，移动计算设备的操控方式也经历了从键盘、鼠标到手机按键、手写板，再到触摸屏、虚拟键盘的进化，可以看到，移动设备的操控方式是朝着越来越直观、简便，并且符合人的自然习惯的方向进化的。

目前在移动计算设备上广泛使用的基于触摸屏的操控方式，技术上是将一块透明的触摸感应屏和显示屏贴合在一起，触摸感应屏实质上是一个定位装置，能够捕捉到屏幕上的触摸动作并获取其位置，同时结合时间轴信息，将动作识别其为点触、长触、滑动等动作之一。进而将位置和动作信息作为指令传递给移动计算设备，移动计算设备基于该指令做出相应的操作反应。由于触摸感应屏与显示屏是叠加在一起的，因此带给使用者“所点即所想”的使用感受，相比鼠标、触控板等定位设备需要通过光标反馈位置的输入方式，屏幕触控方式带来更好的使用体验。

屏幕触控方式相比键盘加鼠标的方式，更加符合人的直观反应、更容易学习，但是屏幕触控方式毕竟只捕捉到了人体手指的动作，在一些需要更多使用者本体信息输入的场合，比如运动游戏、模拟训练、复杂操控、远距离操控等，屏幕触控方式就显示出其捕获人体信息过于单一的局限性了。

目前，现有的虚拟现实交互技术通常是利用诸如鼠标、按键等常规输入方式来与设备进行交互，使得输入方式过于有限，由此导致用户在进行功能选择或执行时，操作较为繁琐，用户体验较差。

实用新型内容

在下文中给出了关于本实用新型的简要概述，以便提供关于本实用新型的某些方面的基本理解。应当理解，这个概述并不是关于本实用新型的穷举性概述。它并不是意图确定本实用新型的关键或重要部分，也不是意图限定本实用新型的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

鉴于此，本实用新型提供了一种基于手势识别的虚拟现实交互设备，以至少解决现有的虚拟现实交互技术的输入方式有限以及用户在进行功能选择或执行时操作较为繁琐的问题。

根据本实用新型的一个方面，提供了一种基于手势识别的虚拟现实交互设备，该虚拟现实交互设备包括3D摄像头接口、头盔式虚拟现实显示器、信号处理组件以及移动设备接口，所述3D摄像头接口连接至所述信号处理组件；所述信号处理组件连接至所述移动设备接口，所述移动设备接口连接至所述头盔式虚拟现实显示器；在使用时，所述3D摄像头接口连接外部的3D摄像头，以通过该3D摄像头来捕获含有深度信息的使用者手部的待测图像序列，并将所述待测图像序列发送给所述信号处理组件，所述信号处理组件基于所述待测图像序列来获得所述使用者的手势，并根据该手势确定对应的操作指令，以对连接至所述移动设备接口的移动设备执行该操作指令，所述头盔式虚拟现实显示器通过所述移动设备接口接收所述移动设备的屏幕显示信号，以将所述移动设备的屏幕以虚拟现实显示方式呈现于预定显示区域。

进一步地，所述头盔式虚拟现实显示器包括：佩戴部，所述佩戴部可佩戴在使用者头部；采集成像部，所述采集成像部设置于所述佩戴部上，并连接至所述移动设备接口以采集所述移动设备的屏幕显示信号，来将所述屏幕以虚拟现实显示方式呈现于所述预定显示区域。

进一步地，所述采集成像部包括显示屏和两组透镜组，所述显示屏为透明材质，所述两组镜片组被设置成：当所述虚拟现实交互设备被使用者佩戴于头部时，所述两组镜片组分别位于使用者对应的视线正前方。

进一步地，所述信号处理组件包括：轮廓检测单元，用于根据图像深度信息和图像颜色信息，在所述待测图像序列的每帧图像中检测出所述使用者的手部轮廓；特征点序列确定单元，用于针对所述使用者的每只手，利用预设的手部结构模板，在所述待测图像序列的每帧图像中确定该只手的待测特征点序列；动作识别单元，用于针对所述使用者的每只手，在多个预设特征点序列中确定该只手的待测特征点序列的匹配序列，以根据所述匹配序列确定该只手的动作名称和位置；手势识别单元，用于在预设手势表中选择与所述使用者双手的动作名称和位置相匹配的手势，作为已识别手势；指令确定单元，用于根据预设操作指令表，确定与所述已识别手势对应的操作指令；执行单元，用于对与确定的操作指令相关的设备进行与该操作指令对应的操作。