[发明专利]视线估计方法及计算设备

权利要求书

1.一种视线估计方法，在计算设备中执行，包括：

获取待进行视线估计的人眼图像；

将所述人眼图像输入预设的人眼关键点检测器，所述人眼关键点检测器为多层卷积神经网络，所述人眼关键点检测器对所述人眼图像进行多层卷积、池化和全连接处理，得到所述人眼图像中双眼的左右眼角坐标、瞳孔中心坐标以及视角阈值，所述视角阈值为人脸位姿平面与摄像头平面平行时，左右眼角之间的距离；

根据双眼的左右眼角坐标和视角阈值，判断所述人眼图像是否可以进行视线估计，若否，则获取下一张人眼图像，若是，则：

根据双眼的左右眼角坐标和瞳孔中心坐标，分别计算得出双眼的视线水平角度；

确定双眼的瞳孔中心在以相应眼球球心为原点的世界坐标系下的三维坐标，根据所述三维坐标来计算得出双眼的视线垂直角度；

根据所述视线水平角度和所述视线垂直角度，确定双眼的三维视线方向；

其中，所述根据双眼的左右眼角坐标和瞳孔中心坐标，分别计算得出双眼的视线水平角度的步骤包括：

根据双眼的左右眼角坐标，分别计算得出双眼的眼角中心坐标；

根据双眼的眼角中心坐标和瞳孔中心坐标，分别计算得出双眼的视线水平角度；

其中，所述视线水平角度按照以下公式计算：

（x_A, y_A）为左眼或右眼的瞳孔中心坐标，（x_B, y_B）为左眼或右眼的眼角中心坐标；

所述确定双眼的瞳孔中心在以相应眼球球心为原点的世界坐标系下的三维坐标的步骤包括：

将所述人眼图像中的瞳孔中心坐标转换为相机坐标系下的三维坐标；

将相机坐标系下的三维坐标转换为以眼球球心为原点的世界坐标系下的三维坐标；

所述瞳孔中心在相机坐标系下的三维坐标按照以下公式确定：

（x，y）为瞳孔中心坐标，z_c为人眼图像中的瞳孔中心到相机镜头的距离，f为相机镜头的焦距，（x_c，y_c，z_c）为瞳孔中心在相机坐标系下的三维坐标；

所述瞳孔中心在以眼球球心为原点的世界坐标系下的三维坐标按照以下公式确定：

R、T分别为世界坐标系到相机坐标系的旋转矩阵、平移矩阵，（x_w，y_w，z_w）为瞳孔中心在以眼球球心为原点的世界坐标系下的三维坐标；

所述视线垂直角度按照以下公式计算：

x_w、y_w、z_w分别为瞳孔中心在以眼球球心为原点的世界坐标系下的x轴坐标、y轴坐标、z轴坐标。

2.如权利要求1所述的方法，其中，

所述人眼关键点检测器为采用人眼样本图像训练得出的多层卷积神经网络，所述人眼样本图像为已标注了双眼的左右眼角位置、瞳孔中心位置以及视角阈值的人眼图像。

3.如权利要求1所述的方法，其中，所述根据双眼的左右眼角坐标和视角阈值，判断所述人眼图像是否可以进行视线估计的步骤包括：

根据双眼的左右眼角坐标，分别计算得出双眼的左右眼角距离；

若双眼的左右眼角距离与相应视角阈值的差的绝对值小于等于预设阈值，则判断所述人眼图像可以进行视线估计；

否则，判断所述人眼图像不可进行视线估计。

4.一种计算设备，包括：

至少一个处理器和存储有程序指令的存储器；

当所述程序指令被所述处理器读取并执行时，使得所述计算设备执行如权利要求1-3中任一项所述的视线估计方法。