[发明专利]驾驶员注视检测系统

说明书

相关申请的交叉引用

本申请要求2013年1月18日提交的美国临时申请No. 61/754,134的权益，所述美国临时申请在此通过引用被并入。

技术领域

本发明涉及实时估计驾驶员的注视方向。

背景技术

在该部分中的声明仅提供与本发明相关的背景信息。因此，这样的声明并不旨在构成对现有技术的承认。

具有监测车辆的操作者并检测操作者没有注意道路场景的能力的车辆允许采取措施，以防止由操作者不注意导致的车辆碰撞。例如，可以启用警报系统以便警告驾驶员注意他或她不专心。此外，如果确定驾驶员即使在被警告之后仍然没有变得专心，则可启用自动制动和自动转向系统以使车辆停止。

已知的是，利用驾驶员监测摄像装置，所述驾驶员监测摄像装置构造成监测驾驶员并检测眼睛偏离道路(EOR)状况，所述EOR状况指示了驾驶员的眼睛不在道路上。然而，由于下述原因，包括了头部姿势和眼睛注视方向的组合的实时注视跟踪在车辆环境中是富有挑战性的，所述原因包括：(1)驾驶员的不同高度和面部特征使得难以关于头部姿势和注视方向来校准摄像装置；(2)未知的照明状况导致了对面部特征的不可靠的检测；以及，(3)在包含于由摄像装置捕获的图像数据中的视频流中难以跟踪驾驶员的头部姿势的急剧变化。

发明内容

一种用于根据车辆驾驶员的估计的注视方向来检测眼睛偏离道路状况的方法，所述方法包括在由车载摄像装置捕获的图像输入数据内监测驾驶员的面部特征点。根据监测的面部特征来检测关于驾驶员眼球的多个眼睛特征中的每个眼睛特征的位置。根据监测的面部特征点来估计驾驶员的头部姿势。根据多个眼睛特征中每个眼睛特征的检测位置和估计的头部姿势来估计驾驶员的注视方向。

本发明还包括以下方案：

1. 一种用于基于车辆驾驶员的估计的注视方向来检测眼睛偏离道路状况的方法，包括：

在由车载摄像装置捕获的图像输入数据内监测所述驾驶员的面部特征点；

基于监测的所述面部特征点来检测所述驾驶员的眼球的多个眼睛特征中的每个眼睛特征的位置；

基于监测的所述面部特征点来估计所述驾驶员的头部姿势；以及

基于所述多个眼睛特征中每个眼睛特征的检测的位置信息和估计的所述头部姿势来估计所述驾驶员的注视方向。

2. 根据方案1所述的方法，其中，根据以下步骤来提取监测的所述面部特征点，包括：

对于第一图像帧，检测所述驾驶员的面部并且从检测的所述面部提取所述面部特征点；

对于在所述第一图像帧之后的每个相继的图像帧：

识别包含了从一个或多个先前的图像输入帧提取的所述面部特征点的候选区域；以及

仅在所述候选区域内识别所述面部特征点。

3. 根据方案1所述的方法，其中，检测所述驾驶员的眼球的多个眼睛特征中每个眼睛特征的位置包括：

检测虹膜的位置；

检测表示了最接近鼻梁的内眼角的第一眼角的位置；以及

检测表示了外眼角的第二眼角的位置。

4. 根据方案3所述的方法，其中，检测所述驾驶员的眼球的多个眼睛特征中每个眼睛特征的位置还包括：

为所述多个眼睛特征中的每个对应的眼睛特征训练分类器，包括：

围绕从数据库获得的与所述对应的眼睛特征相应的参考眼睛特征来指定图像块；以及

识别指定的所述图像块中围绕所述参考眼睛特征居中的一个或多个图像块。

5. 根据方案4所述的方法，还包括：

对于第一图像帧内的每个对应的眼睛特征：

基于亮度大小和检测的边缘强度利用两个统计先验来选择表示了所述对应的眼睛特征的候选像素；

基于所述两个统计先验的加权和来计算每个候选像素的置信分数；

选择各自均具有大于置信分数阈值的相应的置信分数的顶尖候选像素；

将所述顶尖候选像素中的每个顶尖候选像素与训练好的分类器进行比较，以产生与所述顶尖候选像素中每个顶尖候选像素相应的分类器响应；以及

基于所产生的所述顶尖候选像素的分类器响应在所述第一图像帧内检测所述对应的眼睛特征的位置。

6. 根据方案5所述的方法，还包括：

对于在所述第一图像帧之后的每个相继的图像帧内的每个对应的眼睛特征：

识别在紧接在前的图像帧中检测的所述对应的眼睛特征周围的补充面部特征点；