[发明专利]一种眼控鼠标的人机交互方法及系统

说明书

本发明提供一种眼控鼠标的人机交互方法，步骤如下：将头盔式固定装置放置在用户的头部，调整与所述头盔式固定装置连接的支架的位置，使与所述支架连接的摄像机位于用户面部的前方；所述摄像机摄取人脸图像；对所述人脸图像中的眼部图像进行定位；对所述眼部图像中的瞳孔图像进行提取，确定瞳孔中心的坐标；对所述摄像机的光斑中心进行定位，确定光斑中心的坐标；根据所述瞳孔中心的坐标和光斑中心的坐标计算瞳孔中心与光斑中心的横向相对偏移量和纵向相对偏移量；将所述横向相对偏移量和纵向相对偏移量映射为屏幕中的坐标点；根据所述坐标点的位置变化获取用户的眼动信息；将所述眼动信息转成鼠标的工作模式。本发明增强了人机交互的适应性。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种眼控鼠标的人机交互方法及系统。

背景技术

在计算机技术的发展过程中，人机交互方式从最初的穿孔卡方式及以鼠标和键盘为代表的图形用户界面技术逐渐转变为自然人机交互技术。传统的人机交互方式实时性差，而基于语音和手势的人机交互技术效率较低，人的视线具有直接性、自然性和双向性等其他信息无法具备的特点，因此基于视线的人机交互方式成为了近年来人工智能和人机交互领域的研究热点。

基于视线跟踪的人机交互技术通过跟踪人眼视线获得的眼动信息实现眼控鼠标操作，进而实现人机交互。这种技术解放人的双手，增加了使用设备的灵活性和趣味性，从而进一步促进以人为本的人机交互的发展与实现。

发明内容

有鉴于此，本发明提供了一种能够降低视线跟踪技术产生的干扰的眼控鼠标的人机交互方法，还提供了一种操作简便的眼控鼠标的人机交互系统。

本发明提供一种眼控鼠标的人机交互方法，包括以下步骤：

S101，将头盔式固定装置放置在用户的头部，调整与所述头盔式固定装置连接的支架的位置，使与所述支架连接的摄像机位于用户面部的前方；

S102，所述摄像机摄取人脸图像；

S103，利用人脸分布先验知识对所述人脸图像中的眼部图像进行定位；

S104，采用改进的瞳孔图像提取及定位算法对所述眼部图像中的瞳孔图像进行提取和定位，确定瞳孔中心的坐标；

S105，利用质心法对所述摄像机的光斑中心进行定位，确定光斑中心的坐标；

S106，根据所述瞳孔中心的坐标和光斑中心的坐标计算瞳孔中心与光斑中心的横向相对偏移量和纵向相对偏移量；

S107，将所述横向相对偏移量和纵向相对偏移量映射为屏幕中的坐标点；

S108，根据所述坐标点的位置变化获取用户的眼动信息，所述眼动信息包括平滑运动、注视和眨眼；

S109，将所述眼动信息转成鼠标的工作模式。

进一步地，所述支架包括第一支杆、第二支杆和第三支杆，所述第一支杆的一端与头盔式固定装置连接，所述第一支杆可沿着头盔式固定装置向上或向下转动，所述第一支杆的另一端与第二支杆的一端活动连接，所述第二支杆的另一端与第三支杆的一端活动连接，所述第三支杆的另一端连接摄像机。

进一步地，步骤S103中，运用OpenCV对人眼图像进行降噪处理。

进一步地，步骤S104中，采用改进的瞳孔图像提取及定位算法对所述眼部图像中的瞳孔图像进行提取和定位的过程为：

4.1获取眼部图像的灰度分布直方图，然后根据眼部图像中的像素点分布情况剔除不含有像素点的灰度值；

4.2利用最大类间方差法计算眼部图像的初始阈值；

4.3以灰度分布直方图上的最小灰度值为起点，以初始阈值的40％～60％为终点，搜索第一峰值；