[发明专利]一种双目视线追踪方法、装置及设备

说明书

本发明涉及一种双目视线追踪方法、装置及设备，方法包括：获取左眼的第一左眼图像和第二左眼图像，所述第一左眼图像和所述第二左眼图像为双目相机中第一相机和第二相机同时分别采集到的左眼图像；根据所述第一左眼图像得到左眼的瞳孔中心和左眼的虹膜边缘的三个图像点的四个二维坐标；根据所述第二左眼图像得到左眼的瞳孔中心和三个图像点的另外四个二维坐标；根据左眼的瞳孔中心和三个图像点对应的二维坐标得到相机坐标系下的左眼的瞳孔中心和三个图像点的三维坐标；根据左眼的瞳孔中心和三个图像点的三维坐标得到左眼的视线方向。通过计算左眼的瞳孔中心和左眼的虹膜边缘的三个图像点的三维坐标，从而准确地确定左眼的视线方向。

技术领域

本发明涉及视觉追踪技术领域，尤其涉及一种双目视线追踪方法、装置及设备。

背景技术

视觉追踪技术也称为眼动追踪技术，是利用软件算法、机械、电子、光学等各种检测手段获取受试者当前视觉注意方向的技术，它广泛应用于人机交互、辅助驾驶、心理研究、虚拟现实和军事等多个领域。

现有视线追踪方法中，常见的视线追踪方法是基于单目相机的视线追踪方法，而基于单目相机的视线追踪方法，因为其无法计算目标物的深度信息，所以在人脸关键点的3D位置信息时，需要借助外部的平均人脸信息进行近似计算，该种方法会使得计算结果误差较大，从而得到的视线方向的误差也较大。

因此，需要提供一种提高视线追踪精度并且提升计算效率的双目视线追踪方法来解决上述技术问题。

发明内容

为了解决上述技术问题，本发明提供了一种双目视线追踪方法、装置及设备。解决了现有技术中基于单目相机的视线追踪方法需要借助外部的平均人脸信息进行近似计算，计算结果误差较大的问题。

本发明的技术效果通过如下实现的：

一种双目视线追踪方法，所述方法包括：

获取左眼的第一左眼图像和第二左眼图像，所述第一左眼图像和所述第二左眼图像为双目相机中第一相机和第二相机同时分别采集到的左眼图像；

根据所述第一左眼图像得到左眼的瞳孔中心的第一二维坐标和位于左眼的虹膜边缘的第一图像点的第二二维坐标、第二图像点的第三二维坐标、第三图像点的第四二维坐标；

根据所述第二左眼图像得到左眼的瞳孔中心的第五二维坐标和位于左眼的虹膜边缘的第一图像点的第六二维坐标、第二图像点的第七二维坐标、第三图像点的第八二维坐标；

根据所述第一二维坐标、所述第二二维坐标、所述第三二维坐标、所述第四二维坐标、所述第五二维坐标、所述第六二维坐标、所述第七二维坐标和所述第八二维坐标得到左眼的瞳孔中心的第一三维坐标、所述第一图像点的第二三维坐标、所述第二图像点的第三三维坐标和所述第三图像点的第四三维坐标；

根据所述第一三维坐标、所述第二三维坐标、所述第三三维坐标和所述第四三维坐标得到左眼的视线方向。

进一步地，根据所述第一左眼图像得到左眼的瞳孔中心的第一二维坐标和位于左眼的虹膜边缘的第一图像点的第二二维坐标、第二图像点的第三二维坐标、第三图像点的第四二维坐标，包括：

根据所述第一左眼图像得到左眼的瞳孔中心的第一二维坐标和左眼的两个眼角顶点的第一眼角坐标和第二眼角坐标；

根据所述第一眼角坐标和所述第二眼角坐标得到左眼的两个眼角顶点之间的连线与虹膜边缘相交的第一交点的二维坐标和第二交点的二维坐标，所述第一交点的二维坐标和所述第二交点的二维坐标即为所述第一图像点的第二二维坐标和所述第二图像点的第三二维坐标；

根据所述第一二维坐标、第一眼角坐标和第二眼角坐标得到过左眼的瞳孔中心作左眼的两个眼角顶点之间连线的垂线与虹膜边缘相交的第三交点的二维坐标和第四交点的二维坐标，所述第三交点的二维坐标或所述第四交点的二维坐标即为所述第三图像点的第四二维坐标。