[发明专利]人机交互方法及界面

说明书

技术领域：

本发明涉及人机交互方法及界面，尤其是3D多点触摸环境下的人机交互方法及界面。

背景技术：

现有技术条件下，已经有了能够检测触摸屏表面上一定范围内的触摸物体的多点触摸设备。本发明据此提出相应的人机交互方法及界面，以充分利用设备的功能，实现更好的人机交互体验。

附图说明：

图1是手相对于屏幕呈4种不同姿态下，标识图标的姿态随手的姿态改变而改变的示意图。

图2是手指与标识图标的示意图。

图3是指引手指滑动操作的标识图标的一种样式。

图4标识图标在手接触屏幕后发生变化的示意图。

图5是标识图标与手可采取的不同的相对位置示意图。

图6是笼罩区域的示意图。

图7是根据手指姿态及位置确定的锥状区域示意图。

图8是位置图标示意图。

发明内容：

本发明通过将手视为一个整体，通过设计一套与之配套的人机交互方式、结构及图形引导界面，能够获取更丰富的操作信息，并充分利用利用这些信息，由此让使用者非常自然、简单、精确的表达自己的操作意图，并且有图形界面的实时引导，不需要记忆任何操作。例如，基于本发明的人机交互系统，通过一个简单的单点点击操作，系统能够根据获取的信息，产生4种不同的响应，并且包含一个精确的操作实施位置。使用者在手掌不移动的情况下，只需要摆动一下大拇指，再用另一个手指进行任意操作，就可以实现2×3×4＝24种以上的不同效果，同时还能表达出一个精确的实施操作的位置。现有的多点触摸操作以多点触摸手势为主，使用者需要记忆复杂的触摸手势，同时控制一只手上的多个触摸点同时在屏幕上滑动，难以使用。而且多点触摸手势接近于键盘指令，同一个手势是不能实时变化功能的，使用者需要对照说明列表才能使用手势。实际上，目前常见的多点触摸手势仅有两指缩放这一种操作。而且现有的多点触摸手势无法在一次操作中同时表达出操作指令及一个精确的操作位置。

这套人机交互方法及结构构成了一个生物控制系统，在下文中以X代称。

现有的输入设备，尤其是基于光学传感的设备，已经能够提供3维空间内的多点触摸检测。在3维的多点触摸环境中，系统能检测到距离屏幕表面一定范围内的物体。

触摸面板能检测到距离屏幕表面一定距离内的手指。面板能够检测到使用者手指的方向，系统结合检测到的手指的方向和手指的相对位置判断哪几个手指是一只手上的手指。如果触摸面板的检测范围比较大，可以检测到距离面板更远的物体，例如距离面板9厘米处的手掌，系统还可以结合手掌的位置判断哪几个手指属于一只手。

系统判定一只手的位置之后，可以给不同手指赋予不同功能。不同手指对同一对象进行相同操作，可以产生不同效果。

可以在不同手指附近显示标识图标，引导使用者使用相应手指进行各种操作，执行图标所示的功能。标识图标一般位于用者易于看到的位置，例如沿手指所指方向，距离指尖一定距离。当手指距离面板一定距离范围内时，指尖距离屏幕越近，图标距离指尖的距离越近。如图2所示，图标彼此之间的相对位置和图标相对于屏幕的姿态会随着手指的位置进行调整，使操作者能够明确知道哪个图标所示的功能与哪个手指对应。图2是标识图标和手指的示意图，其中11、12、13、14是4根手指前段在触摸面板上的投影，手指前段位于距离屏幕表面3cm处，21、22、23、24是标识图标，标识对应手指相应操作的功能，21与11对应，22与12对应，23与13对应。标识图标25与大拇指15对应，使用者通过使用大拇指15在屏幕上滑动可以在标识图标25的两个子图标1和图标2间切换，标识图标25相当于图标21、22、23、24的上级目录，标识图标25不同的子图标对应不同的21、22、23、24。即大拇指的操作是整只手的内部操作。图1是手指不同姿态下标识图标不同的排列，其中黑色线条是使用者手指前段，空心框是标识图标。标识图标可以适当调整自身位置，避免遮挡其它图形对象。手指前段即使用者手指第一关节之前的手指，是手指通常用于触摸屏幕的部位。

一般情况下，标识图标21、22、23并不是一个需要通过触摸进行操作的快捷方式图标，它只是一个引导使用者进行操作，告知使用者相应手指可进行的各种操作的功能的标识性图标。一般情况下标识图标是引导使用者的相应手指触摸屏幕，执行图标对应的功能。