[发明专利]一种基于眨眼动作的人机交互方法及系统

说明书

技术领域

本发明涉及人机交互技术领域，特别是涉及一种基于眨眼动作的人机交互方法及系统。

背景技术

随着手机、平板电脑等各类移动终端设备的普及，特别是智能手机的发展，这些智能移动终端的作用已不再是简单的接打电话、收发短信了，各种手机和平板电脑的应用充斥着整个网络，其中最主要的应用包括：接打电话、收发短信/邮件、拍照片、浏览网页、玩游戏和阅读电子书。用户与设备之间的人机交互方式也越来越丰富。目前较常用的人机交互方式主要有两种：一种是按键型，通过按键来发出命令；另一种是触摸型，触摸屏幕采用电容屏或电阻屏，用户通过手指触摸屏幕发出命令。这两种方式都是基于人手的人机交互方式，需要手的介入，当双手被占用时，就无法完成人与设备的交互，所以无法适用于某些特殊场合，以及一些残障人士。

随着智能信息技术的发展，新的交互方式层出不穷，特别是出现了多种非接触式的操作方式，主要有语音控制和体感控制两种，其中语音控制、动作控制(属于体感控制的一种)等技术已经得到了广泛的应用。基于语音的操作方式，需要用户用声音信号来控制，操作不太方便，且容易受到环境噪音干扰。基于体感的操作方式中，利用眨眼信息实现人机交互是一种新型的人机交互方式。现有的眨眼交互方式要求原图像分辨率高，因此图像采集单元需要分辨率较高的摄像机或摄像头，或者需要红外光源，或者需要头戴式设备如穿戴式头盔、眼镜框等固定在头部或眼部。这些方法在一定程度上都增加了成本，也不适合在普通手机终端上实现。而且，长时间使用红外光源会对人眼有伤害，如果是将额外设备固定在头部或眼部也会给人体造成负担。

发明内容

本发明通过普通摄像头对眨眼动作进行识别，从而实现对电子设备的操作，无需使用特殊摄像机或特殊摄像头、也无需红外光源及其他辅助装置。

本发明采用如下技术方案：

一种基于眨眼动作的人机交互方法，实现用户对电子设备的操作，包括：

通过摄像头获取人脸图像；

对所述图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位；

跟踪瞳孔中心位置；

检测眨眼动作，根据检测到的眨眼动作发送相应的控制命令给电子设备。

优选地，所述对所述图像进行人眼区域检测的步骤具体包括：采用直方图投影法、Haar检测法、帧差法或者模板匹配法对所述图像进行人眼区域的检测。

优选地，所述跟踪瞳孔中心位置的步骤具体包括：

以所述对所述图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位的步骤得到的瞳孔中心作为中心初始化搜索窗口；

通过摄像头获取下一帧人脸图像；

在下一帧人脸图像中的搜索窗口中对瞳孔中心进行定位。

优选地，所述搜索窗口为分别以两个眼睛的瞳孔中心为中心的两个矩形搜索框，所述矩形搜索框的高度为人脸图像高度的五分之一，所述矩形搜索框的宽度为人脸图像宽度的三分之一。

优选地，在所述通过摄像头获取下一帧人脸图像的步骤之后还包括：

判断所述矩形搜索框是否超出下一帧人脸图像的范围；

当矩形搜索框超出下一帧人脸图像的范围时，将矩形搜索框超出下一帧人脸图像的部分滤除。

优选地，所述根据检测到的人眼区域对瞳孔中心进行定位的步骤和在下一帧人脸图像中的搜索窗口中对瞳孔中心进行定位的步骤均包括：

定义眼睛的等照度线；

计算眼睛的等照度线曲率，得到眼睛的等照度曲线图；

计算等照度曲线图中满足等照度线曲率的圆的中心。

优选地，所述计算等照度曲线图中满足等照度线曲率的圆的中心的步骤具体包括：

计算等照度线的中心的位移矢量；

采用投票法将所述位移矢量映射到累加器中形成等照度线中心图；

将累加器与高斯核作卷积运算，使每个位移矢量均形成一个单一的中心估计；

计算每个位移矢量的权重，选取权重值较大的位移矢量对应的等照度线作为特定等照度线；

选取等照度线中心图中特定等照度线中心附近的较强响应区内的候选响应中强度最大的点作为瞳孔中心。

优选地，所述方法还包括：采用下采样方法由通过摄像头获取的图像构造出图像金字塔，对图像金字塔中的每一层图像求得等照度线中心图金字塔，将等照度线中心图金字塔中的等照度线中心图缩放到预定大小并线性相加得到最终的等照度线中心图。

优选地，在所述在下一帧人脸图像中的搜索窗口中对瞳孔中心进行定位的步骤之后还包括：