[发明专利]一种基于手势识别的界面漫游操作方法与装置

说明书

技术领域

本发明涉及一种基于手势识别的界面漫游操作方法与装置，具体涉及一种利用手的运动 与姿态来代替鼠标进行漫游操作的人机交互方法与结构。

背景技术

计算机的传统人机交互基于鼠标键盘，鼠标主要用在图形人机界面的交互中，具有快速 与精确的交互效果。但包括touchpad、trackpoint、trackball、触摸屏在内的各种指点装置都需 要手握或按压某一鼠标装置，并使其在某一平面或曲面上运动，限定了人机交互的自由性， 使其不能很好的适用于大幅面(投影仪等)的现场演示宣传应用。此外，移动(走动)、车船 震动环境等条件下，各类传统鼠标漫游操作方法的交互效率亦受到很大制约。近年来，计算 机视觉技术已发展得日趋成熟，在此背景下，通过计算机视觉来“解释”人的手势动作，进 而来触发交互中的各种行为也成为了可能。

本发明所采用的技术方案是：提出一种基于手势识别的界面漫游操作方法与装置，由摄 像头、红外二极管、CPU、北桥控制器、南桥控制器、显示芯片、显示桥接芯片、IO芯片、 BIOS芯片、可编程手势识别芯片或专用手势识别芯片，及承载电路板构成，其特征是：摄像 头与南桥控制器或IO芯片相连，或摄像头与可编程手势识别芯片或专用手势识别芯片相连， 该芯片通过PS/2或USB总线与南桥控制器或IO芯片或南北桥集成芯片或系统SOC芯片相 连。拍摄到用户手势图像后，通过USB总线或IEEE1394总线或SPI总线发出此信息，然后 经由CPU执行的手势辨识软件程序进行处理，辨识用户手势交互中的界面漫游操作。或由 手势识别芯片将手势视频流解算后，辨识双击指令，并由芯片内部的PS/2或USB总线接口 将鼠标事件指令发出。

所述的摄像头可在红外波段摄像，可配合红外二极管光源工作，所述的红外二极管为可 选装置，红外二极管的配置可为计算机显示器边框上、键盘平面上、头戴显示器上，用以对 用户手部进行红外照射，避免外界可见光对摄像头的干扰，以提高识别率。

所述的手势辨识软件程序、可编程手势识别芯片或专用手势识别芯片由低层图像预处理 模块、中层分割与跟踪模块、高层模板匹配模块构成，图像输入低层图像预处理模块，该模 块具备线性滤波与边缘检测功能，中层分割与跟踪模块用以将视频流分割成单幅图像或在单 幅图像中的具有目标特征的像素分割出来，并对这些特征像素的坐标进行跟踪，高层模板匹 配模块采用隐马尔可夫模板对特征像素进行寓意匹配，输出得到手势界面漫游操作的含义。

所述的手势界面漫游操作类型由左手或右手的确定动作所表征，该动作被预设模板或用 户自定义模板所匹配，在使用预设模板时，用户的手部动作需与模板中的预设手部运动模型 相符方能对漫游操作进行行为表征，用户自定义模板由用户训练得到。

所述的用户自定义模板的训练过程为，用户通过本装置将所设定时间内的手部运动过程 摄像，对所得的视频流进行低层图像预处理、中层分割与跟踪、高层模板匹配，最后得到一 个特征点数据集合来表征手部动作与漫游操作的匹配关系，训练过程需重复多次。在手部的 双击操作过程中，用户可扩展已有的预设匹配模板和自定义匹配模板，在捕获手部操作动作 后，手势识别芯片将之与预设匹配模板和自定义匹配模板进行匹配，如果无法匹配则提供给 用户选项以人为选择该动作所代表的寓意，并将之加入匹配模板中。

所述的漫游操作包括鼠标的定位、左键单击、左键双击、右键单击、滚轮、拖拽操作， 人机界面的二维旋转、三维旋转、放大、缩小。

本发明的有益效果是：所提出的一种基于手势识别的界面漫游操作方法与装置，能让人 根据自然的手势动作，无需接触鼠标装置并控制其进行平面或曲面运动，既能进行类似传统 鼠标的漫游操作。

本发明的有益效果还包括：所提出的一种基于手势识别的界面漫游操作方法与装置，其 所述的用户自定义匹配模板训练与扩展方法，较传统的固定模板具有更大的灵活性，能更好 的满足用户个人习惯，适应度更高。

本发明的有益效果还包括：所提出的一种基于手势识别的界面漫游操作方法与装置，其 所能实现的漫游操作，不仅包含传统鼠标在用户图形界面上的定位、左键单击、左键双击、 右键单击、滚轮、拖拽操作，还可以单个手势实现人机界面的二维旋转、三维旋转、放大、 缩小等操作动作，相较于传统鼠标操作，更加便捷快速。

附图说明

图1是本发明的软件实现结构示意图。

图2是本发明的硬件实现结构示意图。