[发明专利]检测视线落点的方法、装置、存储介质和终端设备

权利要求书

1.一种检测视线落点的方法，其特征在于，包括：

获取观测者观看显示屏时的脸部图像；

从所述脸部图像中提取脸部区域和眼部区域的特征点；

跟踪所述脸部图像的初始图片序列，对所述脸部区域的特征点进行迭代计算，获得所述观测者的头部姿态，所述初始图片序列包括拍摄所述脸部图像之前的第一帧或连续几帧的图片序列；

根据所述眼部区域的特征点，确定所述观测者的视线角度和视线置信参数；

根据所述头部姿态、所述视线角度和所述视线置信参数以及所述观测者到所述显示屏的距离，确定所述观测者的视线在所述显示屏的落点位置；

其中，所述跟踪所述脸部图像的初始图片序列，对所述脸部区域的特征点进行迭代计算，获得所述观测者的头部姿态，包括：

跟踪所述脸部图像的初始图片序列，获得头部姿态的粒子滤波估计值；其中，所述粒子滤波估计值用于估计所述头部姿态；

根据所述粒子滤波估计值，从依据所述观测者的观测范围划分的各视线区域中确定所述头部姿态所朝向的视线区域；以及

基于所述头部姿态所朝向的视线区域和所述粒子滤波估计值，利用最近点迭代算法对所述脸部区域的特征点进行迭代计算，获得所述头部姿态。

2.如权利要求1所述的方法，其特征在于，所述脸部图像包括深度图像和彩色图像；以及，所述从所述脸部图像中提取脸部区域和眼部区域的特征点，包括：

从所述深度图像中提取前景区域；

判断所述前景区域是否包括人体脸部；

当所述前景区域包括人体脸部时，在所述深度图像中定位所述人体脸部的位置；以及

从所述人体脸部在所述彩色图像中的位置提取脸部区域和眼部区域的特征点。

3.如权利要求1所述的方法，其特征在于，所述根据所述眼部区域的特征点，确定所述观测者的视线角度和视线置信参数，包括：

依据所述眼部区域的特征点，构建眼部外观；

根据所述眼部外观范围内的特征点，定位瞳孔中心位置；

根据眼球中心位置和所述瞳孔中心位置，确定所述观测者的视线角度；

将所述眼部区域的特征点投影到高维特征空间中，获得眼部特征数据集；

对所述眼部特征数据集进行分类检测，获得视线置线参数。

4.如权利要求1所述的方法，其特征在于，所述根据所述头部姿态、所述视线角度和所述视线置信参数以及所述观测者到所述显示屏的距离，确定所述观测者的眼部视线在所述显示屏的落点位置，包括：

根据所述头部姿态、所述视线角度和所述视线置信参数，计算所述观测者的眼部视线的注视方向；

从所述脸部图像的深度图像中，获取所述眼部区域的瞳孔中心位置的像素值，以确定所述观测者的瞳孔中心到所述显示屏的距离；以及

根据所述注视方向和所述观测者的瞳孔中心到所述显示屏的距离，计算所述观测者的眼部视线在所述显示屏的落点位置。

5.一种检测视线落点的装置，其特征在于，包括：

脸部图像获取模块，用于获取观测者观看显示屏时的脸部图像；

特征点提取模块，用于从所述脸部图像中提取脸部区域和眼部区域的特征点；

头部姿态获取模块，用于跟踪所述脸部图像的初始图片序列，对所述脸部区域的特征点进行迭代计算，获得所述观测者的头部姿态，所述初始图片序列包括拍摄所述脸部图像之前的第一帧或连续几帧的图片序列；

所述头部姿态获取模块包括：

粒子滤波单元，用于跟踪所述脸部图像的初始图片序列，获得头部姿态的粒子滤波估计值；其中，所述粒子滤波估计值用于估计所述头部姿态；

当前视线区域确定单元，用于根据所述粒子滤波估计值，从依据所述观测者的观测范围划分的各视线区域中确定所述头部姿态所朝向的视线区域；以及

头部姿态迭代单元，用于基于所述头部姿态所朝向的视线区域和所述粒子滤波估计值，利用最近点迭代算法对所述脸部区域的特征点进行迭代计算，获得所述头部姿态；

视线确定模块，用于根据所述眼部区域的特征点，确定所述观测者的视线角度和视线置信参数；以及

视线落点确定模块，用于根据所述头部姿态、所述视线角度和所述视线置信参数以及所述观测者到所述显示屏的距离，确定所述观测者的视线在所述显示屏的落点位置。