[发明专利]一种基于脸部特征的驾驶员路怒症实时识别和预警方法

摘要

本发明公开了一种基于脸部特征的驾驶员路怒症实时识别和预警方法，首先，运用Kinect从实时视频数据中追踪驾驶员人脸、提取驾驶员人脸的RGB图像和Depth图像，然后，将这两种图像信息进行灰度化、图像大小归一化以及均值滤波去除噪声等预处理操作后分别输入到训练好的CNN模型中进行特征提取，将提取的特征输入Softmax分类器进行识别，分别对人脸的RGB图像和Depth图像连续的30帧的分类结果进行融合，计算得到两通道置信度的概率值，比较两个置信度大小，置信度最高的为驾驶员表情最终识别结果，并根据识别结果对驾驶员进行预警。本发明融合RGB‑D驾驶员脸部特征信息，在夜间或者恶劣驾驶环境下，依然能实现实时、高精度地识别驾驶员愤怒情感进行预警。

主权项

一种基于脸部特征的驾驶员路怒症实时识别和预警方法，其特征在于，包括CNN模型训练的步骤和表情识别的步骤；所述CNN模型训练的步骤包括：S1,基于Kinect获取驾驶员脸部RGB图像和Depth图像数据库；S2,对S1数据库中的RGB图像和Depth图像分别进行预处理；S3,利用预处理得到的RGB图像训练CNN模型，得到基于RGB信息的驾驶员路怒症识别模型；利用预处理得到的Depth图像训练CNN模型，得到基于Depth信息的驾驶员路怒症识别模型；所述表情识别的步骤包括：S4，实时采集连续N帧驾驶员脸部图像并进行预处理操作；S5，针对S4中采集的N帧图像，利用S3所述的基于RGB信息的驾驶员路怒症识别模型获得基于RGB图像的输出判别信息；S6，针对S4中采集的N帧图像，利用S3所述的基于Depth信息的驾驶员路怒症识别模型获得基于Depth图像的输出判别信息；S7，融合S5的输出判别信息和S6的输出判别信息，对两者分配不同的权重之后求置信度，置信度最大值对应的判别信息即为最终输出的表情识别结果。