[发明专利]眼控人机交互系统及方法

说明书

技术领域

本发明涉及人工智能技术领域，尤其涉及一种眼控人机交互系统及方法。

背景技术

随着计算机技术的发展，操作命令也越来越多，功能也越来越强。随着模式识别，如语音识别、汉字识别等输入设备的发展，操作员和计算机在类似于自然语言或受限制的自然语言这一级上进行交互成为可能。

视觉跟踪技术利用视觉的变化代替人手在触摸屏上的运动，使人远离屏幕时仍可以定位屏幕上的任意区域，通过眼睛的运动使用触摸屏，减少了许多步骤，加速以人为中心的智能化人机交互的发展与实现，然而，传统的视线跟踪技术虽然跟踪精度较高，但是价格昂贵，使用方法复杂，尤其是插入式的方法，不仅使人的活动受到限制，而且给用户带来了很大的不舒适感，很难被大多数人接受，只适用于某些特殊场合。

发明内容

为了解决上述技术问题，本发明提供一种眼控人机交互系统。

本发明提供一种眼控人机交互系统，包括图像采集装置及主机，所述图像采集装置用于采集人脸部图像信息并将采集到的人脸部图像信息发送至所述主机，所述主机包括眼特征提取模块、瞳孔中心追踪模块、坐标转换模块及鼠标模拟模块，其中，所述眼特征提取模块用于接收图像采集装置采集的人脸部图像信息并根据接收到的人脸部图像信息提取出眼部特征信息，所述瞳孔中心追踪模块用于接收眼部特征信息并根据接收到眼部特征信息追踪瞳孔中心并确定瞳孔中心坐标，所述坐标转换模块用于接收瞳孔中心坐标并将接收到的瞳孔中心坐标映射成屏幕窗口中的坐标，所述鼠标模拟模块用于接收成屏幕窗口中的坐标，并将接收到的屏幕窗口中的坐标转成鼠标指令。

进一步地，所述图像采集装置运用OpenCv对脸部图像信息进行采集，运用OpenCv对脸部图像信息进行采集的过程包括：与想要捕获的摄像头的接口对应；以及接收视频的每一帧图像，并循环显示。

进一步地，所述眼特征提取模块采用ROI提取的方式提取接收到的人脸部图像信息中的眼部特征信息，采用ROI提取的方式提取接收到的人脸部图像信息中的眼部特征信息的过程包括：接收需要圈出的ROI区域；对摄像头采集到的源图像做ROI处理；以及载入并显示该ROI区域。

进一步地，所述瞳孔中心追踪模块利用霍夫变换追踪瞳孔中心并定位瞳孔中心坐标，利用霍夫变换追踪瞳孔中心并定位瞳孔中心坐标的过程包括：将采集到的眼部ROI区域进行放大；将放大之后的ROI区域转换为灰度图；对灰度图进行高斯滤波去噪，并进行显示；对作完滤波处理的区域进行canny边缘检测；以及进行霍夫圆变换，算出圆的中心坐标。

进一步地，所述坐标转换模块将接收到的人眼瞳孔中心坐标映射成屏幕窗口中的坐标的方法包括：选取屏幕窗口的四个基本点并依次对这四个点的瞳孔中心坐标进行采集；确定屏幕窗口四个点在屏幕中的实际位置；以及完成瞳孔中心坐标到屏幕窗口坐标的映射转换。

本发明还提供一种眼控人机交互的方法，包括以下步骤：

采集人脸部图像信息；

提取出眼部特征信息；

追踪瞳孔中心并确定瞳孔中心坐标；

将瞳孔中心坐标映射成屏幕窗口中的坐标；以及

将屏幕窗口中的坐标转成鼠标指令。

进一步地，所述步骤“采集人脸部图像信息”包括：与想要捕获的摄像头的接口对应；以及接收视频的每一帧图像，并循环显示。

进一步地，所述步骤“提取出眼部特征信息”包括：接收需要圈出的ROI区域；对采集到的源图像做ROI处理；载入并显示该ROI区域。

进一步地，所述步骤“追踪瞳孔中心并确定瞳孔中心坐标”包括：将采集到的眼部ROI区域进行放大；将放大之后的ROI区域转换为灰度图；对灰度图进行高斯滤波去噪；对作完滤波处理的区域进行canny边缘检测；以及进行霍夫圆变换，算出圆的中心坐标。

进一步地，所述步骤“将瞳孔中心坐标映射成屏幕窗口中的坐标”包括：选取屏幕窗口的四个基本点并依次对这四个点的瞳孔中心坐标进行采集；定屏幕窗口四个点在屏幕中的实际位置；以及完成瞳孔中心坐标到屏幕窗口坐标的映射转换。

相较于现有技术，本发明的眼控人机交互系统及方法具有以下优点：