[发明专利]一种基于RGBD的汽车驾驶员状态检测和识别系统

权利要求书

1.一种基于RGBD的汽车驾驶员状态检测和识别系统，其特征在于，包括：

RGB(Red，Green，Blue)彩色图像传感器、TOF飞行时间传感器、近红外发射器和微处理器；

所述近红外发射器向被检测人或物发射调制频率的近红外光线，波长在800nm至1000nm左右，调制频率在1MHz到100MHz；

所述TOF飞行时间传感器感应被检测人或物表面发射回来的近红外光，通过对比调制光波的相位差计算出物体距离模块的深度图(depthdata)和反射光的强度图(confidencedata)；

所述RGB彩色图像传感器通过感应物体发射回来的自然光或者近红外光对物体彩色的成像；

所述微处理器具有图像数据接口、I2C和普通的输入输出口(I/O)，能够控制近红外发射器、向下一单元传递RGBD信息，以及对RGB彩色图像传感器和TOF飞行时间传感器传导过来的信号进行处理和整合，以实现对驾驶员身份、体态、驾驶状态和手势控制进行识别检测。

2.根据权利要求1所说的基于RGBD的汽车驾驶员状态检测和识别系统，其特征在于，所述微处理器将通过TOF传感器获得的深度信息(Depth)、光强度信息(Confidence)与对RGB彩色图像信息(Red,Green,Blue)进行合成算法处理：将彩色图像和深度图像的信息相融合，通过人体轮廓边缘对齐和分割的方式，解析出两个图像的重叠区域，把两种图像的像素点对应上；对每个像素点的数据进行滤波、过采样和光滑处理，得到稳定的底噪数据，使最终获得的点云光滑、均匀，所获得的点云数据包含了RGBD的彩色和深度信息；将深度信息依据横纵坐标转化为空间的三维坐标，将所得到的数据合成空间的三维点云图(X,Y,Z)；进一步的，通过合成算法将色彩(R,G,B)、三维坐标(X,Y,Z)和光强度(C)信息整合获得空间彩色三维点云图。

3.根据权利要求2所说的基于RGBD的汽车驾驶员状态检测和识别系统，其特征在于，所述微处理器通过所获得的空间彩色三维点云图辨别人脸和轮廓，对人脸特征和五官细节的数据进行提取，传递到下一级系统进行身份识别。

4.根据权利要求2所说的基于RGBD的汽车驾驶员状态检测和识别系统，其特征在于，所述微处理器通过所获得的空间彩色三维点云图进行建模分析，获得高精度的人体轮廓数据，将数据传递到下一级系统，对人体进行体态、体型和身高的分析。

5.根据权利要求2所说的基于RGBD的汽车驾驶员状态检测和识别系统，其特征在于，所述微处理器通过所获得的空间彩色三维点云图对驾驶员脸部和进行高频采样分析；进一步的，在多个维度精细地获得驾驶员脸部的表情信息；进一步的，将信息传递到下一级系统，系统通过驾驶员眨眼频率和打哈欠的状态来分析驾驶员疲劳驾驶的程度。

6.根据权利要求1所说的基于RGBD的汽车驾驶员状态检测和识别系统，其特征在于，所述微处理器通过所获得的空间彩色三维点云图进行建模；进一步的，生成人体的上肢轮廓和骨骼图，下一级系统通过分析上肢和手在汽车内的位置和转动方向盘的状态，来对驾驶员的疲劳驾驶状态进行检测和分析。

7.根据权利要求2所说的基于RGBD的汽车驾驶员状态检测和识别系统，其特征在于，所述微处理器通过所获得的空间彩色三维点云图进行建模分析；生成人体的骨骼图，通过对彩色三维图像的高频采样，来判断驾驶员所操作的手势控制。