[发明专利]基于虚拟触摸屏的非穿戴指势人机交互方法

摘要

本发明涉及一种基于虚拟触摸屏的非穿戴指势人机交互方法。它是根据指势用户所指目标的手指屏可按照用户的人脸三维信息和手指尖的深度信息映射成手指尖可触及的虚拟触摸屏，通过手指尖在虚拟触摸屏的位置计算，自动确定用户所指空间目标。本发明方法不需要特定的硬件支持以及限定用户活动范围等约束，方法简便、灵活、易实现。

主权项

一种基于虚拟触摸屏的非穿戴指势人机交互方法，其特征在于具体步骤如下：1)启动非穿戴指势人机交互系统，采集视频图像；2)获取用户三维信息：标定Kinect，并由Kinect获取用户三维信息；3)用户指势手部区域分割：根据步骤2)所提取的用户三维信息，获取用户手部深度方向的Z坐标，并将Z坐标值小的手部区域确定为指势手部区域；4)指势手指尖提取：根据步骤3)所确定的用户指势手部区域，确定对应的指势手部区域外接矩形框；根据指势手指的Z坐标值小的特点，将具有最小Z坐标值且手指与外接矩形框的边缘相交点确定为指势手的手指尖点；5)手指目标的行为确定；6)虚拟触摸屏的构建,构建的具体操作步骤如下：(6‑1)手指屏的模块划分：将手指屏分别在水平X方向划分为m个模块和垂直Y方向划分为n个模块，并由此分别确定手指屏在水平X方向的各个分界点坐标为X1,......,Xn+1，以及在垂直Y方向的各个分界点坐标为：Y1,......,Yn+1；(6‑2)虚拟触摸屏构建：根据步骤2)所获取的用户三维信息，确定人脸中心点的三维坐标Xhead，Yhead，Zhead；同时，根据步骤4)所确定的手指尖，获取手指尖在深度Z方向的坐标值Zfingertip，并根据步骤(6‑1)所划分的手指屏的各个分界点坐标Xi,i＝1,2,...,m+1，Yj,j＝1,2,...,n+1，按下式计算手指屏各模块分界点在虚拟触摸屏上的对应点坐标X′i，Y′j,构建用户手指可触及的虚拟触摸屏：Xi′=(Xhead-Xi)×(Zfingertip-Zhead)Zhead+XheadYj′=(Yhead-Yj)×(Zfingertip-Zhead)Zhead+Yhead;]]>7)手指目标的确定：根据手指尖在步骤6)所构建的虚拟触摸屏的位置计算，确定手指的目标。