[发明专利]驾驶员驾驶行为识别方法、装置、设备及可读存储介质

说明书

本发明公开了一种驾驶员驾驶行为识别方法、装置、设备及存储介质，方法包括：获取包含有驾驶员驾驶行为的驾驶员图像；采用随机裁剪的数据增强技术处理所述驾驶员图像，获得三维张量格式的第一图像数据；使用卷积神经网络处理所述三维张量格式的第一图像数据，以生成第二图像数据；将所述第二图像数据输入至构建好的CS_ResNet模型；在所述CS_ResNet模型中，信道注意力模块和空间注意力模块串行连接嵌入在残差网络中；将残差网络模型输出通过全连接层来融合各局部特征形成全局特征，然后使用分类器来计算每一类别的得分；根据每一类别的得分来获得驾驶员行为识别结果。本发明能够降低模型计算复杂度和提高系统识别准确率。

技术领域

本发明具体涉及人工智能领域，具体涉及一种驾驶员驾驶行为识别方法、装置、设备及可读存储介质。

背景技术

随着人们生活水平的改善，汽车已成为人民出行最为常见的代步工具。汽车给人们生活提供方便的同时，也产生了一系列问题，例如汽车道路交通事故、环境污染等，其中汽车道路交通事故由于关系到人们的生命安全，因此备受关注。

汽车交通事故的发生归因于驾驶员的分心、汽车失灵和恶劣的天气等，其中，80％以上的汽车交通事故与驾驶员分心行为造成。驾驶员分心行为是指驾驶员为了转移驾驶注意力而采取的行为，例如：打瞌睡、打电话、发短信和吸烟等。驾驶员行为是影响驾驶安全的主要方面，驾驶员分心行为是安全驾驶的研究热点。

国家疾病预防控制中心把驾驶员分心行为分为认知分心、视觉分心和手动分心。认知分心行为是指驾驶员的思维偏离驾驶。视觉分心行为意味着司机在驾驶过程中眼睛远离道路，如打瞌睡。手动分心行为是与驾驶员身体偏离驾驶设备有关的各种活动。例如：用左手或右手打电话时，司机的手离方向盘很远。司机转向与乘客交谈，他的头就会偏离车辆的前部。为了理解这些分散注意力的行为，必须捕捉司机的状态信息，如手的运动、眼睛的注视、头部的姿势和脚的动态。从数据集、模型和算法等方面对驾驶员行为识别进行了研究，以提高准确性。在现有的大多数方法中，特定的特征通常是预先从原始图像中提取的。例如，调整收音机的行为需要注意眼睛的凝视方向。在打电话的行为可能会集中在手的位置和手机的形状上。然而，这些特征并不总是容易获得的。

驾驶员分心行为识别在过去20年得到了广泛的研究。识别动作特征的方式是理解驾驶员行为的关键。从模型构建的角度来看，驾驶员行为识别的方法可以分为传统方法、浅层机器学习方法和深度学习方法。

在传统方法的研究中，研究人员主要集中在手动捕捉特征，包括头部姿势、眼睛凝视、面部表情、足部动力学、手部运动的生理信号。该系统用生理传感器检测驾驶员的生理信号，如脑电图(EEG)、心电图和眼电图。这些特征可以由领域专家设计，以便为特定任务选择性地提取。这种情况的发生是因为驾驶员的状态信息或驾驶员行为的特征包含了使用传统方法进行行为识别的重要线索。脑电图显示了其与驾驶员行为的密切关系，可用于识别驾驶员行为。在传统方法中，尺度不变特征变换(SIFT)和定向梯度直方图(HOG)是图像分类的著名二维特征描述符。对于行为识别，SIFT和HOG可以扩展到提取三维数据的特征，分别表示为SIFT-3D和HOG3D。虽然使用传统方法可以实现行为识别，但由于难以手动提取可变外观和姿势的特征，性能受到限制。

浅层机器学习方法是自动提取数据特征的机器学习方法，以提高行为识别的准确性。例如：随机森林(RF)分类器对驾驶员行为进行分类。该方法利用轮廓变换进行特征提取，采用PF分类器性能优于线性感知器、K-近邻和多层感知器(MLP)等分类器。Berri等人提出了一个支持向量机模型来检测面部和手的位置，以识别司机是否使用手机。Craye等人使用AdaBoost对驾驶员的分心进行分类，其中输入图像由Kinect传感器捕获。在照明条件变化的环境下，将HOG和AdaBoost分类器相结合的方法对手机的使用进行分类。Chiou等人提出了一种分层驾驶员监控系统(HDMS)，该系统使用基于部分时态脸描述符的稀疏表示。具有稀疏表示的第一层HDMS检测驾驶员在驾驶过程中的正常和异常行为，第二层HDMS确定驾驶行为是昏昏欲睡还是分心。分心驾驶员检测系统中使用堆叠组合学习者和集合组合规则的技术，取得了良好的效果。