[发明专利]用于发现和跟踪双眼的方法和装置

说明书

本发明涉及一种用于实时发现并进而跟踪至少一张脸上的双眼的三维坐标的非接触式方法。

例如，与接触式方法不同，用于发现和跟踪脸部的非接触式方法不需要任何额外手段，例如头戴式摄像机或聚光灯。这些非接触式方法的优点在于要跟踪的对象的自由移动不会受到物理手段的任何限制，并且使用这种手段不会让使用者感到厌烦。

非接触式检测和跟踪方法是公知的现有技术。例如，专利文件US 6539 100 B1和专利文件EP 0 350 957 B1公开了如何借助从已记录的图像中提取的特定脸部和眼睛特征来检测观察者的观看方向。专利文件US 6539 100 B1描述了用于找出观察者正在观看哪个对象的方法，专利文件EP0 350 957 B1还具有在一段特定时期跟踪眼睛运动的目的。

专利文件DE 197 31 303 A1公开了一种即使头和眼睛快速和大范围运动时也能测量眼睛观看方向的非接触式无头盔的方法和装置。眼睛被红外光照射，通过光学系统成像并且由至少一个图像传感器记录；随后，观看方向处理器处理因此生成的图像，然后在监视器上显示，其中观看方向处理器可以通过主处理器设置为通过寻找眼瞳中心位置和确定角膜反射来确定观看方向。

专利文件WO 03/079 902 A1也描述了一种在各种照明条件下实时检测和跟踪眼睛的非接触式方法。通过执行以下步骤来检测眼睛：记录两个主动照明图像，其中一个图像表示眼睛的“亮瞳孔效果”以及另一个图像表示眼睛的“暗瞳孔效果”；生成这两个图像的差分图像，生成的差分图像仅示出两个图像对比度不同之处的差异；标示出差分图像中的差异点作为可能的眼睛；以及为了能高概率地在差分图像中分辨出眼睛和非眼睛，将可能的眼睛与预先记录的作为参考图像的眼睛以及非眼睛的图像进行比较。通过使用卡尔曼滤波器以及将预期的眼睛位置与差分图像中实际检测的眼睛位置进行比较来检测图像中的眼睛，然后跟踪眼睛。如果比较没有产生任何结果，借助于聚类算法在进一步的步骤中确定眼睛的位置，聚类算法基于可能的眼睛位置在图像中的亮度对它们的位置进行聚类，并且将这些聚类与预期位置进行比较。

该公知技术方法存在一些缺点。一方面，检测和跟踪眼睛的过程利用了基于具有“亮瞳孔效果”的图像和具有“暗瞳孔效果”的图像使用隔行扫描方法生成的图像，这两个图像是逐个记录的，而不是由一个图像传感器同时记录的。通过隔行扫描方法与图像的叠加一起记录时间上不重合的图像不允许对眼睛的可靠实时检测和跟踪，该方法旨在减少传输的图像数据量。另一方面，由于眼睛到光源的距离增加时主动照明减少，其导致不再能将要检测的眼睛与差分图像中的其他对象或噪声区分开，因此该方法仅允许检测和跟踪空间上非常接近图像传感器的眼睛。

专利文件WO2007/019842尝试消除这些缺点，其使用分层组织程序找出眼睛位置，其中从整个视频帧(VF)的数据量到目标脸部区域(GZ)的数据量，最后是目标眼睛区域(AZ)的数据量，要处理的数据量逐渐减少。此外，每个程序或每组程序始终在一个专用计算单元上执行，以使它们平行运行。不过，专利文件WO2007/019842并没有解释如何发现和跟踪眼睛。

然而，实时检测和跟踪眼睛是人机交互的决定性因素。因此，特别需要提供一种能精确地实时发现和跟踪眼睛的检测和跟踪眼睛的方法。

精确和高效确定Z方向上的位置也是必要的，尤其在脸部可能在所有空间方向进行大幅快速移动的动态应用环境中。这种动态应用例如包括自动立体或全息显示，只有在空间和时间上精确确定了观察者的眼睛位置，期望的图像效果才会出现，这样自动立体或全息图像信息就可以导向实际的眼睛位置。与此相反，在现有技术中公知的静态应用中，例如用于监测驾驶员和飞行员的装置，由于在这些应用中对象的移动范围在所有空间方向通常都限制到最小，因此检测和跟踪范围相当小。

现有技术中公知的方法还存在不能实时传送眼睛位置信息的问题，尤其是识别和跟踪多个脸部时。

因此，本发明的目的是提供一种允许在足够大的检测和跟踪范围内可靠、精确并高效地在所有三个空间方向实时发现和跟踪一个或多个脸部的眼睛位置的方法，其仅产生低的计算量。特别是，本发明的目的是能高效和精确发现至少一只眼睛。

该目的根据本发明中包括以下步骤的方法来实现：接收至少一个图像传感器的一个或多个作为视频信号的序列提供的图像数据；在图像数据中发现眼睛或跟踪已发现的眼睛；确定发现或跟踪的眼睛的三维坐标；分配发现或跟踪的眼睛以形成双眼；以及提供双眼的三维坐标。

在优选实施例中，图像数据以至少一个图像传感器记录的视频序列的形式接收。或者也可以使用其他传输方式接收图像数据，例如以单一图像的形式。