[发明专利]一种基于卷积神经网络的驾驶员状态监测方法

说明书

本发明公开了一种基于卷积神经网络的驾驶员状态监测方法，其步骤为：1）实时采集驾驶员画面的视频帧，将采集图像输入人脸检测网络，获得人脸区域图像；2）以人脸区域图像为中心，扩大人脸区域图像边界框，得到危险动作检测区域图像，将危险动作检测区域图像输入危险动作检测神经网络模型，检测图像中是否存在危险动作；（3）将人脸区域图像输入人脸关键点检测神经网络模型，获取人脸关键点坐标，通过人脸关键点坐标判断驾驶员是否出现瞌睡、打哈欠行为；（4）将人脸区域图像输入头部位姿检测神经网络模型，获取头部位姿信息，通过头部位姿信息判断驾驶员是否出现分神行为。该方法能快速准确的实现驾驶员视觉特征提取，检测精度高，准确性好。

技术领域

本发明涉及一种驾驶员状态监测方法，具体涉及一种基于卷积神经网络的驾驶员状态监测方法。

背景技术

近年来随着车辆的不断增多，因交通引发的问题也日益凸显。其中，驾驶员不良驾驶行为是造成交通事故的主要原因。这些驾驶行为包括行车过程中打手机、吸烟、疲劳驾驶等。对驾驶员实行有效的监测和实时预警，一方面能从根源上有效避免驾驶员不安全驾驶行为导致的交通事故，另一方面也有利于对驾驶员进行更有效的管理，改变驾驶员行车驾驶习惯，减少交通事故造成的损失。随着高级驾驶员辅助系统(ADAS)的发展，车辆可以通过所谓的驾驶员状态监测(DSM)系统监视驾驶员的表现，机敏性和驾驶意图，以改善交通安全。但是现有的基于生物电信号(ECG、EEG等)的驾驶员状态监测，效果不够鲁棒且实现起来较繁琐。基于传统图像算法的驾驶员状态监测，速度慢且功能较少，亟需研究一种有效且简单的驾驶员状态监测方法。

发明内容

针对现有技术存在的问题和不足，本发明的目的在于提供一种基于卷积神经网络的驾驶员状态监测方法。

为实现发明目的，本发明采用的技术方案如下：

一种基于卷积神经网络的驾驶员状态监测方法，包括以下步骤：

(1)实时采集驾驶员画面的视频帧，将采集的视频帧图像输入人脸检测网络进行脸部定位，获得人脸区域图像；

(2)以人脸区域图像为中心，扩大人脸区域图像的边界框，得到危险动作检测区域图像，将危险动作检测区域图像输入危险动作检测神经网络模型，检测危险动作检测区域图像中是否存在烟、手机，根据检测结果判断驾驶员是否存在吸烟或打电话行为；

(3)将人脸区域图像输入人脸关键点检测神经网络模型，获取驾驶员人脸关键点坐标，通过人脸关键点坐标判断驾驶员是否出现瞌睡和打哈欠行为；

(4)将人脸区域图像输入头部位姿检测神经网络模型，获取驾驶员的头部位姿信息，通过头部位姿信息判断驾驶员是否出现分神行为。

根据上述的基于卷积神经网络的驾驶员状态监测方法，优选地，步骤(2)中所述危险动作检测神经网络模型的具体结构为SSD-MobileNetV2与特征金字塔网络的组合模型；危险动作检测神经网络模型的输入为人脸区域图像，输出为人脸区域图像中烟、手机的边界框坐标。

根据上述的基于卷积神经网络的驾驶员状态监测方法，优选地，所述危险动作检测神经网络模型的训练数据集为自定义数据集，包含1451张驾驶员图像，其中775张打电话图像，676张吸烟图像。

根据上述的基于卷积神经网络的驾驶员状态监测方法，优选地，所述危险动作检测神经网络模型的具体训练方法和过程为：将训练数据集中的图像调整为300×300分辨率作为危险动作检测神经网络模型训练的输入，使用COCO预训练权重作为网络初始化参数，选用RMSPROP优化器，初始学习率为0.04，每次训练输入24张图像，网络经过15万次迭代完成训练。