[发明专利]检测视线落点的方法、装置、存储介质和终端设备

说明书

本发明提出一种检测视线落点的方法、装置、存储介质和终端设备，其中，所述方法包括：获取观测者观看显示屏时的脸部图像；从所述脸部图像中提取脸部区域和眼部区域的特征点；跟踪所述脸部图像的初始图片序列，对所述脸部区域的特征点进行迭代计算，获得所述观测者的头部姿态；根据所述眼部区域的特征点，确定所述观测者的视线角度和视线置信参数；根据所述头部姿态、所述视线角度和所述视线置信参数以及所述观测者到所述显示屏的距离，确定所述观测者的视线在所述显示屏的落点位置。采用本发明，可以方便快速准确地确定观测者的视线落点位置。

技术领域

本发明涉及计算机技术领域，尤其涉及一种检测视线落点的方法、装置、存储介质和终端设备。

背景技术

人们往往通过频繁的注视来表达对对象或某一视觉区域的兴趣。通过跟踪人眼的视点运动，收集和分析人眼运动数据数据，获得用户兴趣。例如，在用户观看视频、电子书或网上商店时，通过跟踪用户的人眼运动，可以获知判断用户的偏好。其中，眼睛的视线落点可以传递大量反映人体心理活动的信息。

现有技术中，为了准确地测量眼睛的视线落点，通常要将被测试者的头部固定以固定头部姿态。或者，被测试者的头部戴上头戴式装置来跟踪头部姿态的变化数据，进而准确地计算视线落点。

但是，上述方案会给被测试者带来不便。仅利用二维彩色图像进行检测，所获取的数据有可能存在错误，进而导致视线落点的确定不准确。因此，如何方便准确地计算视线落点是目前亟需解决的技术问题。

发明内容

本发明实施例提供一种检测视线落点的方法、装置、存储介质和终端设备，以解决或缓解现有技术中的以上一个或多个技术问题。

第一方面，本发明实施例提供了一种检测视线落点的方法，包括：

获取观测者观看显示屏时的脸部图像；

从所述脸部图像中提取脸部区域和眼部区域的特征点；

跟踪所述脸部图像的初始图片序列，对所述脸部区域的特征点进行迭代计算，获得所述观测者的头部姿态；

根据所述眼部区域的特征点，确定所述观测者的视线角度和视线置信参数；

根据所述头部姿态、所述视线角度和所述视线置信参数以及所述观测者到所述显示屏的距离，确定所述观测者的视线在所述显示屏的落点位置。

结合第一方面，在第一方面的第一种实施方式中，所述脸部图像包括深度图像和彩色图像；以及，所述从所述脸部图像中提取脸部区域和眼部区域的特征点，包括：

从所述深度图像中提取前景区域；

判断所述前景区域是否包括人体脸部；

当所述前景区域包括人体脸部时，在所述深度图像中定位所述人体脸部的位置；以及

从所述人体脸部在所述彩色图像中的位置提取脸部区域和眼部区域的特征点。

结合第一方面，在第一方面的第二种实施方式中，所述跟踪所述脸部图像的初始图片序列，对所述脸部区域的特征点进行迭代计算，获得所述观测者的头部姿态，包括：

跟踪所述脸部图像的初始图片序列，获得头部姿态的粒子滤波估计值；其中，所述粒子滤波估计值用于估计所述头部姿态；

根据所述粒子滤波估计值，从依据所述观测者的观测范围划分的各视线区域中确定所述头部姿态所朝向的视线区域；以及

基于所述头部姿态所朝向的视线区域和所述粒子滤波估计值，利用最近点迭代算法对所述脸部区域的特征点进行迭代计算，获得所述头部姿态。

结合第一方面，在第一方面的第三种实施方式中，所述根据所述眼部区域的特征点，确定所述观测者的视线角度和视线置信参数，包括：