[发明专利]基于手势识别的人机交互系统装置及操作方法

摘要

本发明公开一种基于手势识别的人机交互系统装置及操作方法，所述系统装置包括单目摄像头、安装有人机交互程序的PC机、PLC板和物理应用设备；所述操作方法包括手势输入模块、指尖定位模块、手势跟踪模块和键鼠映射模块。本发明采用基于手势识别的人机交互方案，解决现有的需用大量硬件设备感应的人机交互方式的局限性问题，使人机交互更加自然、方便。

主权项

一种基于手势识别的人机交互系统装置及操作方法，其特征在于，通过四大模块实现对键鼠的模拟进而实现人机交互，其中：所述系统装置包括单目摄像头、安装有人机交互程序的PC机、PLC板和物理应用设备，其中，所述的单目摄像头用于捕获用户的手势图像；所述的PC机通过USB接口获取单目摄像头捕获的手势图像，其中的人机交互程序将对图像进行识别、分析及处理；所述的PLC板通过串口或USB获取经PC机处理后的手势信息；所述的物理应用设备通过电路获取信息并对信息进行反馈实施。所述操作方法包括手势输入模块、指尖定位模块、手势跟踪模块和键鼠映射模块，其中：所述的手势输入模块用于单目摄像头捕获用户手势，并将捕获到的手势图像输入指尖定位模块；所述的指尖定位模块用于定位手势图像中的指尖位置，并根据此识别出用户手势的类型和手势的位置，作为手势跟踪模块和键鼠映射模块的输入；所述的手势跟踪模块用于追踪用户手势的移动轨迹，并获取手势的移动量，作为键鼠映射模块的输入；所述的键鼠映射模块用于将用户手势的类型以及手势移动量识别为对应的键盘和鼠标的操作，并据此进行计算机控制。