[发明专利]一种适用于触控的视线交互方法

权利要求书

1.一种适用于触控的视线交互方法，其特征在于：将不同个体在不同外部条件下注视同一屏幕位置块的若干人眼图像归为一类，用卷积神经网络CNN实现模式分类，从而通过人眼图像识别其对应的屏幕注视位置块，该方法包括如下步骤：

(1)人眼数据库的建立：在不同光照、不同时间、不同位置条件下对多个个体注视屏幕上随机出现的注视点的过程进行数据采集，对采集的图像进行人脸检测和人眼检测，获得人眼区域图像，建立人眼数据库并对人眼图像进行筛选；

(2)将人眼图像分为训练集和验证集，作为卷积神经网络的输入，根据实际应用需求对电脑屏幕进行分块，注视屏幕上同一分块的人眼图像视为一类，对人眼图像进行分类，训练卷积神经网络；

(3)进行视线估计时，将待分类人眼图像输入到训练好的卷积神经网络模型中，即可判断其类别，并对应得到相应的屏幕注视位置块，从而对视线方向进行估计。

2.根据权利要求1所述的适用于触控的视线交互方法，其特征在于：上述步骤(1)的具体实现步骤为：

a、人眼图像采集，其具体步骤如下：

(a)考虑到实际应用，首先将计算机屏幕分为若干大块，每个大块内部继续分成若干个小块，每个小块中间设置注视点；

(b)实验者坐在屏幕前方摄像头范围内，眼睛跟随注视点移动，同时摄像机采集人脸图像，为了防止人眼疲劳，相邻两个注视点设置时间间隔，此时摄像头不采集图像；

(c)对采集的图像进行筛选，提取可用样本数据；

b、对人脸图像进行人脸检测和人眼检测，并将人眼矩形归一化到统一大小用于训练卷积神经网络。

3.根据权利要求1所述的适用于触控的视线交互方法，其特征在于：上述步骤(2)的具体实现步骤为：

a、数据选择方面，将可用样本按一定比例分为训练集和验证集分别用于卷积神经网络训练和分类准确性的验证；

b、根据实际数据大小设置卷积神经网络结构模型为：

(a)卷积神经网络的卷积层：网络通过卷积层提取图像的深度特征，根据特征图大小选择相应的卷积核并对图像进行边缘扩充，卷积层第i层第j个特征图在(x,y)位置处的值为：

$f_{ij}^{xy}=relu(b_{ij}+\underset{n}{\Σ}\underset{p=0}{\overset{p_i-1}{\Σ}}\underset{q=0}{\overset{q_i-1}{\Σ}}{w}_{ijn}^{pq}{f}_{(i-1)n}^{(x+p)(y+q)})$

其中，relu(·)为修正线性单元，其公式为：g(x)＝max(0,x)，b_ij是第i层第j个特征图的偏置，n指与当前特征图连接的上一层特征图的集合，p_i,q_i分别指第i层卷积核的长、宽，是与上层特征图连接的卷积核在(p,q)处的值；

(b)卷积神经网络的采样层：网络通过采样层对图像进行降维处理，采样层第i层第j个特征图表示为

f_ij＝f(β_ijdown(f_(i-1)j)+b_ij)

其中，β_ij和b_ij分别是第i层第j个特征图的乘子偏差和附加偏差，down(·)是降采样函数，采用最大池化，在下采样层的后面连接LRN层，LRN层模仿生物神经系统的侧抑制机制，对局部神经元的活动创建竞争机制，使得响应比较大的值相对更大，提高模型的泛化能力。

(c)卷积神经网络的输出层：网络通过内积层实现全连接，最后输出类别号。