[发明专利]一种基于RGBD的汽车驾驶员状态检测和识别系统

说明书

本发明涉及光学技术及计算机技术领域公开了一种基于RGBD的汽车驾驶员状态检测和识别系统，包括：系统集成了RGB彩色图像传感器模块，飞行时间TOF的深度和灰度图像传感器模块，近红外发射器和微处理器等单元；通过TOF传感器获得的深度信息，并与对RGB彩色图像信息进行合成算法处理；对驾驶员身份和体态进行识别检测；对驾驶员在室内的驾驶状态进行检测；驾驶员对汽车操控的手势控制。本发明采用彩色图像传感器和深度图像传感器获取驾驶室内RGBD信息进而计算出彩色三维图像(R,G,B,X,Y,Z,C)的多重信息，对汽车室内驾驶员提供信息采集、安全驾驶和人机交互等辅助功能。

技术领域

本发明涉及到电子电路设计、图像软件处理、计算机图形学和光学等多学科，将复杂的多学科交叉研究结果应用在新一代的智能汽车的辅助驾驶ADAS(AdvanceDrivingAssistanceSystem)领域。

背景技术

随着汽车的普及与数目的增多，对汽车的智能化和安全性业界普遍要求越来越高。自动驾驶和辅助驾驶正在成为汽车行业的一个标准，对驾驶舱内驾驶员和乘客的状态监测和疲劳监测能够有效的提高汽车的安全性。目前对于汽车内的电器操控主要是通过按键来进行控制，非接触式的手势控制和人机交互也是汽车正在智能化的一个体现，能够给驾驶员提供一个更便捷的控制方式。

现有的单一RGB彩色图像传感器只能够获得二维的彩色图像，存在着很多弊端，包括：在进行图像识别时，由于所获得的信息维度不够而误判；没有办法判断所成像的人或者物体的大小、身高和三维轮廓；手势识别的误判。

目前所存在的三维成像方式，技术主要包括双目相机、结果光法和飞行时间。飞行时间发通过发射激光束测量激光返回的时间来测量物体或人的三维结构，建立人体的三维模型，通过三维模型在空间中的位置变化来识别人的手势变化。飞行时间法具有高灵敏度、抗强光性、高精度等优点。但是仅仅通过飞行时间三维相机的深度信息一般分辨率较低、不能识别环境色彩和人体或人体表面图像、不能获得人体脸部详细特征。

目前在基于图像信息的驾驶员疲劳驾驶识别研究中，已有方案大多直接采用摄像头直接拍摄的2D图像进行处理和识别，如采用摄像头拍摄的2D图像通过目前比较成熟的图像处理软件库openCV进行图像特征提取及切割，提取驾驶员睁眼状态及嘴巴闭合程度，通过支持向量机等机器学习算法训练模型，从而判断驾驶员疲劳程度。然而，此类方法由于仅采用2d图像信息，容易产生误判。另有一些方案中采用双目摄像头的方法采集3D深度图像信息进行处理分析，此类方法提高了疲劳程度判断的准确性，然而由于双目算法需要大量的计算量得到深度信息，通常无法做到实时性，采样率通常不高。另有一些方案采用心率监测等多模态检测，需要的设备复杂，通常不便于一般车辆安装。以上所述的基于图像信息的驾驶员疲劳驾驶方案中一个重要不足是无法工作在无光或弱光环境中。然而，通常车辆在行驶于夜晚或隧道等环境中时，是驾驶员最容易发生疲劳驾驶的环境。此时，已有的基于图像信息采集的方案通常无法奏效。本专利提出的基于TOF技术的3D方案基于主动发射的不可见近红外光源，可不受影响的工作在无光环境中，并可提供实时的3D信息采集。

同时，在有光环境下，TOF深度信息结合二维的RGB相机能够更高分辨率的识别人脸表情和获得更多数据信息，从而提高测量的精度。

发明内容

本发明目的为解决上述所述的仅仅通过彩色图像传感器所获得的信息不足的问题，提供一个高灵敏的、高信息密度的人机交互解决方案和人脸识别状态识别系统。

为了实现上述目的，提供以下技术方案：

一种基于RGBD的汽车驾驶员状态检测和识别系统，包括：

RGB(Red，Green，Blue)彩色图像传感器、TOF飞行时间传感器、近红外发射器和微处理器；