[发明专利]基于手势识别的人机交互方法与系统

说明书

公开了基于手势识别的人机交互方法与系统。所公开的基于手势识别的人机交互方法，其中控件基于用户的手势信息识别用户的命令，所述控件包括入口区域与导轨区域，入口区域将用户界面分为第一部分与第二部分，第一部分不包括导轨区域，第二部分包括导轨区域；所述方法包括：响应于光标从用户界面的第一部分通过入口区域移动到用户界面的第二部分，控件进入激活态，并在控件的导轨区域显示滑块；响应于滑块从导轨区域的第一端移出导轨区域，所述控件生成第一事件。

技术领域

本发明涉及人机交互领域。具体地，本发明涉及利用基于手势识别的控件进行人机交互的方法与系统。

背景技术

人机交互技术中，控件是用于构建图形用户界面的可重用软件组件。通常，一个控件对应一种功能。例如，图1展示了二维图形用户界面中的“确认”控件。“确认”控件包括提示窗，提示窗中包括“确认”按钮与“取消”按钮。在“确认”控件被调用时，弹出如图1所示的提示窗，识别用户对“确认”按钮或“取消”按钮的点击来获得用户的操作意图，并实现人机交互。现有技术中的滑动解锁技术，通过手部在触摸屏上的滑动向信息处理设备告知用户的输入意图。

新型人机交互技术也在不断发展，基于手势识别的人机交互技术是热点之一。对手部运动的识别，可以通过多种方法实现。来自微软公司的 US20100199228A1(公开日：2010年8月5日）提供了利用深度摄像头捕获并分析用户的身体姿态，并将其解释为计算机命令的方案。来自Nintendo公司的US20080291160A1 (公开日：2008年11月27日）提供了利用红外传感器和加速度传感器捕获用户手部位置的方案。来自松下电器产业株式会社的CN1276572A提供了使用摄像头对手部进行拍照，然后对图像进行归一化分析，并将归一化得到的图像进行空间投影，并将所得的投影坐标与预先存储的图像的投影坐标进行比较。图2示出了来自天津锋时互动科技有限公司的专利申请CN201110100532.9提供的手势识别与空间位置的感知系统与方法。如图2所示，手势识别系统包含：计算机主机101、多摄像头系统的控制电路102、多个摄像头103、使用者手部104、运行于计算机主机101的应用程序105、应用程序105中的被操作对象106与虚拟手光标107。手势识别系统还包括在图2中未示出的用于照明使用者手部104的红外照明光源以及放置于每个摄像头前的红外滤光片。多个摄像头103捕获使用者手部104的图像，控制电路102对摄像头103采集的手部图像进行处理，并识别手部的姿态和/或位置。此外，现有技术中还有利用数据手套来辅助对手部姿态的识别的方案。

发明内容

在基于手势识别的人机交互过程中，需要设计控件来促进应用程序的开发。控件以手势作为输入，而产生事件或消息作为输出。事件或消息可指示用户的“确认”或“取消”的操作目的，或指示多种不同含义的用户意图。而且由于人的生物特征决定了用户的手在交互空间的轨迹无法实现上笔直或者规范的问题，从而已有的人机交互技术难以有效地理解手势输入的意图。

根据本发明的第一方面，提供了基于手势识别的第一人机交互方法，其中控件基于用户的手势信息识别用户的命令，所述控件包括入口区域与导轨区域，入口区域将用户界面分为第一部分与第二部分，第一部分不包括导轨区域，第二部分包括导轨区域；所述方法包括：响应于光标从用户界面的第一部分通过入口区域移动到用户界面的第二部分，控件进入激活态，并在控件的导轨区域显示滑块；响应于滑块从导轨区域的第一端移出导轨区域，所述控件生成第一事件。

根据本发明的第一方面的基于手势识别的第一人机交互方式，提供了根据本发明第一方面的基于手势识别的第二人机交互方法，其中包括：响应于滑块从导轨区域的第二端移出导轨区域，所述控件生成第二事件。

根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的基于手势识别的第三人机交互方法，其中包括：响应于滑块从导轨区域的第一端或第二端移出导轨区域，所述控件进入未激活态。

根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的第四人机交互方法，其中包括：初始化所述控件，所述控件进入未激活状态。