[发明专利]一种手势控制方法

说明书

技术领域

本发明属于人机交互技术领域，特别涉及一种手势控制方法。

背景技术

随着计算机技术的发展，人机交互技术也越来越智能化、个性化。从传统的鼠标、键盘、触摸屏等交互手段，逐渐发展出了手势控制等非接触式控制方法。

在计算机领域，包括但不限于虚拟现实、增强现实、混合现实场景，目前的手势交互范围包括基于二维显示对象和基于三维显示对象的手势操作。其原理一般都是通过手势识别系统的摄像头拍摄用户手势的图像或视频，然后通过计算机算法识别出用户手势的静态含义或运动含义，再映射为系统内部命令，最后系统根据该命令执行对显示对象的各种操作。

现有技术：面向二维平面显示对象的手势操作，比如传统计算机的二维平面显示对象，通过手势操作代替鼠标、键盘、触摸屏等物理设备，可以获得更自然的人机交互方式。如微软研究院设在以色列的先进技术实验室研究的一个名为Project Prague的布拉格项目，就是通过摄像头设备捕获用户手势操作，映射为windows内部命令，执行某项具体操作。

面向三维立体显示对象的手势操作，比如微软的智能眼镜hololens全息透镜支持针对虚拟三维模型的手势交互。微软智能眼镜hololens支持的手势操作包括：Bloom绽放手势、Air tap空气敲击手势、按住不放、滚动、拖拽、放大缩小、钉住、解除或卸载应用等，具体操作可以参考微软的网站信息。

综合以上面向二维显示对象和三维显示对象的手势操作，现有技术存在如下问题：

1)手势操作不够隐蔽，需要用户抬手操作，以便主摄像头能够“看到”用户的手势；在用户操作虚拟显示对象时，旁边看不到虚拟影像的人会觉得奇怪，尤其是在公共场合；

2)现有系统很多操作都是单手手势识别，有一定的安全风险，当周围人多时，系统容易将其他人的无意识手势判断为系统命令，造成系统错误；

发明内容

本发明的目的在于提供一种手势控制方法，以解决上述问题。

为实现上述问题，本发明采用以下技术方案：

一种手势控制方法，包括双手手势操作场景和单手手势操作场景；

双手手势操作场景包括手势捕捉摄像头、主计算机系统和近端手势识别系统；手势捕捉摄像头用于捕捉用户手势，手势捕捉摄像头与近端手势识别系统连接；近端手势识别系统用于在识别出用户的近端手势操作后，和主计算机系统交互，驱动主计算机系统的原有控制逻辑，主计算机系统为支持手势操作的设备原有的计算机系统；具体包括以下步骤：

步骤一，用户伸出一只手A，处于身体近端，手A采取姿势代表用户开始操作虚拟显示对象；

步骤二，用户伸出另一只手B，处于身体近端，展开针对虚拟显示对象的具体操作；

步骤三，近端手势识别系统判断手A手势是“开始操作”手势时，手B的手势操作才会生效；

步骤四，近端手势识别系统获得有效的手B操作后，和主计算机系统交互，驱动主计算机系统的原有控制逻辑；

包括以下操作：

1)用户伸出一只手A，处于身体近端，手掌伸直，手掌或手背朝上，以手A的手掌或手背代表用户开始操作二维平面对象；

2)用户伸出另一只手B进行针对二维平面对象的具体操作，包括以下情况：

手B伸出一只手指，在手A的手掌或手背，通过单指单击、双击操作该二维对象，近端手势识别系统映射为对二维平面对象的单击、双击命令；

手B伸出两只手指，在手A的手掌或手背，通过双指张开、闭合操作，近端手势识别系统映射为对二维平面对象的放大、缩小的命令；

手B伸出某个手指B1，在手A的手掌或手背进行滑动操作，近端手势识别系统映射为对二维平面对象的滚动命令；

手B伸出某个手指B2，在手A的手掌或手背滑动操作，近端手势识别系统映射为对二维平面对象的拖动命令；

手B伸出某个手指，点击手A的某个手指，近端手势识别系统映射为对二维平面对象或三维立体对象的快捷操作命令；

手B伸出某个手指，通过点击手A某个手指的快捷操作命令，启动手写识别模式，用户使用手B在手A的掌心或手背，进行英文字母或汉字的书写操作，近端手势识别系统映射为英文字母或汉字的输入；