[发明专利]一种适用于触控的视线交互方法

说明书

技术领域

本发明涉及一种适用于触控的视线交互方法，属于视频、多媒体信号处理技术领域。

技术背景

人机交互技术是目前用户界面研究中发展得最快的领域之一。目前比较普遍的人机交互方式包括键盘、鼠标、摄像头等传统交互方式。然而，随着人工智能技术的不断发展，很多非接触式的交互方式应运而生，如手势识别等。相对于传统的接触式交互方式，非接触式交互方式具有安全、卫生等优点，被越来越多的应用于生活的方方面面。

本发明涉及的视线交互方法是非接触式人机交互的一种。所谓视线交互顾名思义就是通过估计人眼注视方向来实现人机交互的技术，其核心技术为视线估计方法。视线交互在虚拟现实、发展心理学、医学诊断、感知分析、商业广告测评等领域的应用日益广泛。同时，视线交互对于重度瘫痪但视觉良好的病人来说也是一个很好的辅助，他们可以通过眼球的运动来表达自己的意愿与需求，并控制相应的系统来满足自己的需求。

传统的基于模型的视线估计技术通过高分辨率相机和红外光源获取瞳孔中心和角膜反射点的具体位置建立眼球的数学模型，并通过一定的映射关系得到人眼注视点的位置。这种方法对硬件设备要求较高、易受光照环境的影响并且需要定标过程，为视线交互设立了一个较高的门槛。而基于人眼图像的视线估计采用机器学习的方法，首先建立人眼图像数据库，利用神经网络对人眼图像特征进行降维和特征提取，在人眼图像和注视方向之间建立对应关系，从而实现根据人眼图像的注视方向估计。但是，此类方法以获得准确的注视方向为目标，在机器学习的训练过程中，往往采用回归的方法；这使得这类方法训练过程复杂，网络参数调节难度大，并且所获得的注视方向精度比较差。同时，这类方法中所使用的人眼图像数据库大多不是在注视屏幕的场景下采集的，因此，在基于屏幕的触控应用中实现并不理想。

发明内容

基于触控的人机交互是现在消费电子产品中最常见的人机交互方式，它通过触发在有限面积的屏幕上具有一定面积的触控按钮来激活相应的功能。本发明参考触控技术的特点，针对传统的基于眼球模型和基于人眼图像的视线估计方法中难以应用于触控应用的缺点，本发明提供了一种适用于触控的视线交互方法。该方法将注视屏幕分块，以屏幕中的块模拟触控界面中的按钮，创新性地将注视屏幕不同块的人眼图像与其相应的区域位置之间的关系进行建模，借助人眼图像数据库的建立和卷积神经网络的应用，根据人眼图像估计出人眼所注视的屏幕上的块，实现基于视线交互的触控。在这个过程中，由于不需要估计准确的注视方向，只需要估计注视的块，因此在机器学习中需要采用模式分类方法，而不是回归的方法。实验证明，该方法在不同光照条件和不同个体条件下均能达到较高的识别度。

该方法的实现需要一个普通网络摄像头，以及个人计算机一台。本发明采用的技术方案如下。

一种适用于触控的视线交互方法，其特征在于：将不同个体在不同外部条件下注视同一屏幕位置块的若干人眼图像归为一类，用卷积神经网络CNN实现模式分类，从而通过人眼图像识别其对应的屏幕注视位置块，该方法包括如下步骤：

(1)人眼数据库的建立：在不同光照、不同时间、不同位置条件下对多个个体注视屏幕上随机出现的注视点的过程进行数据采集，对采集的图像进行人脸检测和人眼检测，获得人眼区域图像，建立人眼数据库并对人眼图像进行筛选；

(2)将人眼图像分为训练集和验证集，作为卷积神经网络的输入，根据实际应用需求对电脑屏幕进行分块，注视屏幕上同一分块的人眼图像视为一类，对人眼图像进行分类，训练卷积神经网络；

(3)进行视线估计时，将待分类人眼图像输入到训练好的卷积神经网络模型中，即可判断其类别，并对应得到相应的屏幕注视位置块，从而对视线方向进行估计。

更具体地，上述步骤(1)的具体实现步骤为：

a、人眼图像采集，其具体步骤如下：

(a)考虑到实际应用，首先将计算机屏幕分为若干大块，每个大块内部继续分成若干个小块，每个小块中间设置注视点；

(b)实验者坐在屏幕前方摄像头范围内，眼睛跟随注视点移动，同时摄像机采集人脸图像，为了防止人眼疲劳，相邻两个注视点设置时间间隔，此时摄像头不采集图像；

(c)对采集的图像进行筛选，提取可用样本数据；

b、对人脸图像进行人脸检测和人眼检测，并将人眼矩形归一化到统一大小用于训练卷积神经网络。

更具体地，上述步骤(2)的具体实现步骤为：

a、数据选择方面，将可用样本按一定比例分为训练集和验证集分别用于卷积神经网络训练和分类准确性的验证；