[发明专利]用于确定视线的方法、设备和计算机可读存储介质

说明书

本公开提出了用于确定视线的方法、设备和计算机可读存储介质。该方法包括：根据眼部图像来确定至少一个视线特征向量；基于视线估计模型和所述至少一个视线特征向量来确定视线落点的位置。所述至少一个视线特征向量包括以下至少一项：指示由第一参考光源在所述眼部图像中形成的第一参考光斑中心到瞳孔中心的第一视线特征向量；指示所述瞳孔中心到由第二参考光源在所述眼部图像中形成的第二参考光斑中心的第二视线特征向量；以及指示所述第二参考光斑中心到所述第一参考光斑中心的第三视线特征向量。

技术领域

本公开涉及人机交互领域，更具体地涉及用于确定视线的方法、设备和计算机可读存储介质。

背景技术

视线估计技术(有时也称为眼球跟踪技术)是一种用于确定人类或动物视线落点的技术。最早的视线估计技术主要用于对人类阅读习惯的研究。例如，通过研究在人类阅读文章或观赏绘画时人类视线落在文章中哪些单词或绘画中的哪些物体上、注视各个位置的时间等数据，可以对人类的阅读/观赏习惯进行研究。最早的视线估计技术是通过对眼睛的直接观察来进行主观判断。之后，随着技术的发展，视线估计技术使用接触式的设备来确定视线，例如通过使用特殊设计的隐形眼镜，从而可以通过隐形眼镜随着眼球的动作来判断视线方向。

此外，另外一类主要的视线估计技术是利用相机来捕获对象的眼部图像，进行眼球特征提取，测量眼球运动情况，进一步估计视线方向或眼睛注视点位置的技术。这种技术在虚拟现实、人机交互、用户体验、心理学研究、残疾人辅助等多个领域具有广阔的现实应用价值。

发明内容

然而，目前的视线估计技术主要分为基于二维映射模型的视线估计方法和基于三维眼球模型的视线估计方法。基于二维映射模型的视线估计方法虽然在视线参数提取和视线特征识别方面简单、迅速，能够满足实用性要求，但是其映射模型的精度低、稳定性差，并且使用时需要用户头部静止，难以满足舒适性要求。

而基于三维眼球模型的视线估计方法虽然能够检测用户头部空间位置，能够适应用户头部的自然运动，但是其硬件配置复杂(至少需要双相机和双光源)，存在设备硬件成本高和算法实现复杂的问题，并且需要获得用户眼球参数的独立信息，在不借助其他仪器的情况下，准确的间接估计眼球独立参数是很难实现的。

由于视线估计技术中存在的以上问题，使得基于非侵入式的视线估计系统难以得到广泛使用。因此，需要一种相对于现有的视线估计技术能够更易于实现、可满足实用要求，同时无需过高硬件配置和容许头部自然运动的视线估计系统和方法。

为了至少部分解决或减轻上述问题，提供了根据本公开实施例的用于确定视线的方法、设备和计算机可读存储介质。

根据本公开的第一方面，提供了一种用于确定视线的方法。该方法包括：根据眼部图像来确定至少一个视线特征向量；基于视线估计模型和所述至少一个视线特征向量来确定视线落点的位置。

在一些实施例中，所述至少一个视线特征向量包括以下至少一项：指示由第一参考光源在所述眼部图像中形成的第一参考光斑中心到瞳孔中心的第一视线特征向量，其中，x_AI和y_AI分别是所述第一视线特征向量在眼部图像坐标系的X轴和Y轴方向的分量；指示所述瞳孔中心到由第二参考光源在所述眼部图像中形成的第二参考光斑中心的第二视线特征向量，其中，x_IB和y_IB分别是所述第二视线特征向量在眼部图像坐标系的X轴和Y轴方向的分量；以及指示所述第二参考光斑中心到所述第一参考光斑中心的第三视线特征向量，其中，x_BA和y_BA分别是所述第三视线特征向量在眼部图像坐标系的X轴和Y轴方向的分量。