[发明专利]多指触摸方法和装置、便携式终端设备

说明书

技术领域

本发明涉及多指触摸，特别涉及通用计算机的多指触摸方法和装置、便携式终端设备。

背景技术

多指触摸(Multi-Touch)技术是指允许计算机用户同时通过多个手指来控制图形界面的一种技术。随着应用多指触模控制技术的智能手机的流行，基于多指触摸控制的手势识别技术逐渐成为人们普遍接受的人机交互技术。

多指触摸输入必须依赖多点触控设备，通常是多指触摸板，或者支持多指触摸输入的触摸屏。这类设备目前还不普及，通常只在高端的电子设备如苹果笔记本上才具备，或者需要单独采购。多数家用或商用的台式计算机和笔记本在硬件上不支持多指触摸，因此限制了多指触摸技术在通用计算机上的应用。

为了在没有多指触摸设备的情况下可以开发和使用支持多指触摸输入的软件系统，人们开发了多种模拟多指触摸输入的技术。例如，有一种模拟多指触摸输入的软件，将此软件的窗口覆盖在支持多指触摸输入的目标软件界面上，先用鼠标在目标软件上点击一个或者几个点，作为固定的输入点，然后用鼠标模拟可以活动的输入点。还有人用两个鼠标来模拟两个输入点。这类方法可以模拟的触摸点数量非常有限，且输入方式与多指触摸的操作差别很大，效果并不理想。

近年来，出现了基于机器视觉的手势识别技术，基于机器视觉的手势识别技术利用摄像机捕捉手势，并且通过计算手势运动轨迹与预定模板之间的相关系数(correlation coefficient)确定手势的交互语义(interaction semantics)。现有的通过摄像头来识别手指并模拟多点接触的方法，需要通过一个画好棋盘格的物理表面作为模拟的触摸板，通过支持无线通信的摄像头对手指运动进行拍摄，然后通过无线通信将捕捉的图像发送到计算机上进行分析，通过自动摄像头校正和使用前的姿态学习、使用中的图像识别等方法来获得用户的多指触摸输入。

但是这种基于摄像机的手势识别技术需要额外的辅助设备，如画好棋盘格的物理平面，为了能够拍摄到手指的运动而增加的无线摄像头、嵌入式传输设备，并通过USB无线接收器连接计算机，这些要求显然限制了此种技术的使用，另外，这类方法也没有很好解决输入的开始和结束的问题。图像中刚出现手指的时候，用户可能还没有准备好，或者是操作完毕准备撤回手指，如果不能很好的区分操作的开始和结束，会给用户的操作造成很大的不便，甚至导致操作混乱，使技术失去实用价值。

因此需要一种应用于通用计算机的多指触摸技术，能够克服现有技术的缺陷，在常见的个人计算机上，在不增加额外硬件设备的前提下，支持用户进行多指触摸输入，且操作方式简便自然，尽可能接近实际多指触摸设备的操作方式。

发明内容

基于上述问题，本发明提供一种多指触摸方法和装置。

根据本发明的第一方面，提供一种多指触摸方法，包括：响应于用户伸出至少一个手指指向计算机屏幕，识别摄像机采集的图像帧中的人眼和至少一个手指；将识别的手指在所述图像帧中的第一坐标映射为所述手指在计算机屏幕的第二坐标；将识别的人眼在所述图像帧中的第三坐标映射为所述人眼在计算机屏幕的第四坐标；判断所述第四坐标是否在所述第二坐标附近；响应于判断结果为是，确定所述第二坐标为多指触摸点。

根据本发明的第二方面，提供一种多指触摸装置，包括：识别模块，被配置为响应于用户伸出至少一个手指指向计算机屏幕识别摄像机采集的图像帧中的人眼和至少一个手指；坐标映射模块，被配置为将识别的手指在所述图像帧中的第一坐标映射为所述手指在计算机屏幕的第二坐标，以及将识别的人眼在所述图像帧中的第三坐标映射为所述人眼在计算机屏幕的第四坐标；判断模块，被配置为判断所述第四坐标是否在所述第二坐标附近；多指触摸点确定模块，被配置为响应于判断结果为是确定所述第二坐标为多指触摸点。

根据本发明的第三方面，提供了一种包括上述多指触摸装置的便携式终端设备。

根据本发明实施例的多指触摸方法和装置，在不增加额外硬件设备的前提下，支持用户进行多指触摸输入，且操作方式简便自然，尽可能接近实际多指触摸设备的操作方式。

附图说明

结合附图，通过参考下列的实施例详细描述方法和装置，将会更好地理解本发明本身、优选的实施方式以及本发明的目的和优点，其中：

图1示出根据本发明实施例的多指触摸方法；

图2示出人眼在图像帧中的坐标示意图；

图3示出手指的图像示意图；

图4示出手指在以计算机屏幕为X-Y平面的三维坐标系统中的示意图；

图5示出人眼在以计算机屏幕为X-Y平面的三维坐标系统中的示意图；