[发明专利]视线估计方法及计算设备

说明书

本发明公开了一种视线估计方法，该方法在计算设备中执行，包括以下步骤：获取待进行视线估计的人眼图像；将该人眼图像输入预设的人眼关键点检测器，以得到该人眼图像中双眼的左右眼角坐标、瞳孔中心坐标以及视角阈值；根据双眼的左右眼角坐标和视角阈值，判断该人眼图像是否可以进行视线估计，若否，则获取下一张人眼图像，若是，则：根据双眼的左右眼角坐标和瞳孔中心坐标，分别计算得出双眼的视线水平角度；确定双眼的瞳孔中心在以相应眼球球心为原点的世界坐标系下的三维坐标，根据三维坐标来计算得出双眼的视线垂直角度；根据视线水平角度和视线垂直角度，确定双眼的三维视线方向。本发明一并公开了相应的计算设备。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种人眼视线估计方法及计算设备。

背景技术

人眼视线估计（Gaze Estimation）指的是从人眼图像中估计人的视线方向或注视点的位置。视线估计技术可以应用于VR游戏、检测及诊断精神类或心理类的疾病、辅助驾驶、智能线下零售等多个领域。在信息安全及生物特征识别领域的实时远距离虹膜识别场景中，通过对当前帧人脸或人眼图像进行视线估计，可以判别当前图像是否满足虹膜识别的要求，从而为后续的虹膜区域分割、虹膜特征提取及识别打下良好的基础。

目前多采用深度学习（Deep Learning）方法来进行视线估计。在该方法中，采用深度摄像机（又称3D摄像机）采集包含三维空间数据的人脸/人眼图像，在图像中标注视线方向，采用标注了视线方向的图像来训练网络模型。该模型可以从图像中提取出头部姿态特征和眼睛特征，将头部姿态特征和眼睛特征拼接后进行一系列处理，得出相机坐标系下的视线方向。

该方法以深度摄像机采集到的标注了视线方向的人脸/人眼图像为训练样本，但深度摄像机硬件成本高，并且图像中的视线方向难以标注。此外，该方法需要对头部姿态进行估计，计算耗时，难以实现实时的视线估计。

发明内容

为此，本发明提供一种视线估计方法及计算设备，以力图解决或至少缓解上面存在的问题。

根据本发明的第一个方面，提供一种视线估计方法，在计算设备中执行，包括：获取待进行视线估计的人眼图像；将所述人眼图像输入预设的人眼关键点检测器，以得到所述人眼图像中双眼的左右眼角坐标、瞳孔中心坐标以及视角阈值；根据双眼的左右眼角坐标和视角阈值，判断所述人眼图像是否可以进行视线估计，若否，则获取下一张人眼图像，若是，则：根据双眼的左右眼角坐标和瞳孔中心坐标，分别计算得出双眼的视线水平角度；确定双眼的瞳孔中心在以相应眼球球心为原点的世界坐标系下的三维坐标，根据所述三维坐标来计算得出双眼的视线垂直角度；根据所述视线水平角度和所述视线垂直角度，确定双眼的三维视线方向。

可选地，在根据本发明的视线估计方法中，所述人眼关键点检测器为采用人眼样本图像训练得出的多层卷积神经网络，所述人眼样本图像为已标注了双眼的左右眼角位置、瞳孔中心位置以及视角阈值的人眼图像，所述视角阈值为人脸位姿平面与摄像头平面平行时，左右眼角之间的距离。

可选地，在根据本发明的视线估计方法中，根据双眼的左右眼角坐标和视角阈值，判断所述人眼图像是否可以进行视线估计的步骤包括：根据双眼的左右眼角坐标，分别计算得出双眼的左右眼角距离；若双眼的左右眼角距离与相应视角阈值的差的绝对值小于等于预设阈值，则判断所述人眼图像可以进行视线估计；否则，判断所述人眼图像不可进行视线估计。

可选地，在根据本发明的视线估计方法中，根据双眼的左右眼角坐标和瞳孔中心坐标，分别计算得出双眼的视线水平角度的步骤包括：根据双眼的左右眼角坐标，分别计算得出双眼的眼角中心坐标；根据双眼的眼角中心坐标和瞳孔中心坐标，分别计算得出双眼的视线水平角度。

可选地，在根据本发明的视线估计方法中，视线水平角度按照以下公式计算：