[发明专利]一种通过关键点条件网络监控机动车辆驾驶员的方法

说明书

本发明公开了一种通过关键点条件网络监控机动车辆驾驶员的方法，显式地提取与动作相关的关键点特征。网络包含全局分支和关键点分支。在全局分支中利用改进的空洞金字塔池化层来捕获多尺度的全局上下文，在关键点分支中提出了一个关键点条件计算模块来增强特征的可分辨性。在分类过程中，每个输入图像并不共享相同的全连接层参数，而是在关键点特征的指导下，通过条件计算生成专家权值，使模型能够适应相应类别的驾驶图像。本发明通过生成关键点增强注意力以缩放分类特征，提高了分类准确率和鲁棒性，在交通安全领域有重要的应用价值。

技术领域

本发明属于图像处理和模式识别领域，具体涉及一种通过关键点条件网络监控机动车辆驾驶员的方法。

背景技术

分心驾驶引发的交通事故已成为对人们生命财产的威胁。有效识别驾驶行为尤为重要。根据世界卫生组织(WHO)的报告，全世界每年有135万人死于交通事故。每天有将近3700人死于世界道路上。“本报告中最令人心碎的统计数据之一是，道路交通伤害是5至29岁年龄段人群死亡的主要原因”。该报告还显示，死亡人数逐年增加，这些事故背后的最常见原因是驾驶员分心。在年轻驾驶者和新手驾驶者中，驾车时使用手机十分普遍，这进一步增加了这些人群中本已很高的撞车和死亡风险。开车时使用电话会使撞车的可能性增加四倍，而发短信则使撞车的危险增加23倍。同样，使用电话的驾驶员的反应时间也比不使用电话的速度慢了50％。如今，越来越多的现代车辆配备了高级驾驶员辅助系统(ADAS)，例如稳定性控制，牵引力控制，车道偏离警告，自适应巡航控制和防抱死制动系统。开发这些系统是为了通过提供警告驾驶员可能出现的问题并在发生事故时使驾驶员和乘客安全的技术来预防事故。检测驾驶员注意力不集中对于其他预防措施极为重要。如果车辆可以检测到这种干扰，然后警告驾驶员，或者如果驾驶员是专业驾驶员，则向总部发送警告消息，从而可以减少道路交通事故的发生。

发明内容

为解决上述问题，本发明公开了一种通过关键点条件网络监控机动车辆驾驶员的方法，发明中使用的关键点条件计算方法可以提取驾驶员的关键点特征，并利用条件计算将其嵌入到分类编码器中，使其在特征通道级上具有门控机制，在输入级上具有依赖于示例的注意力机制，从而提高识别准确率。

为达到上述目的，本发明的技术方案如下：

一种通过关键点条件网络监控机动车辆驾驶员的方法，包括以下步骤：

步骤1：实验数据采用StateFarm分心驾驶数据集；

步骤2：构建关键点条件网络，所设计的模型包含两个分支，一个分支基于ResNet利用改进的空洞金字塔池化层来提取驾驶图像的全局特征；另一个分支首先通过姿态估计模型提取关键点特征，并将这两种特征串联起来，送入关键点条件计算模块，其中生成的注意向量对融合后的特征重新加权；该模块引导模型使用关键点特征信息来强调与驾驶行为分类相关的更具区别性的特征通道，其输出是最终的分类表示；具体描述如下：

步骤201：网络模型使用ResNet作为骨干，将Conv5_x中的卷积层设置为步幅为1，空洞率为2，并结合改进的空洞空间金字塔池化层以提取驾驶图像的全局特征；对于输入图像，大尺度特征编码长范围上下文，小尺度特征保留细节，而多尺度特征的提取是通过改变空洞率来实现的，因此合并多个空洞卷积分支，即空洞空间金字塔池化ASPP；本发明中对ASPP层进行改进以融合驾驶图像中的上下文，考虑到空洞卷积和池化操作的方式不同，增加了两个最大池化层4×4和8×8来丰富特征融合的多样性，以增加感受野；然后，添加上采样层以恢复特征尺寸；在第一条并行路径中加入1×1卷积以保留原始特征；此外，在所有并行路径中使用1×1卷积，将特征通道数减少到128个；最后，将改进的ASPP层中所有并行路径的输出特征串联起来，输出通道数为768个；

步骤202：模型的关键点分支中利用Lightweight OpenPose定位驾驶员的头和手，然后使用RoI Align从全局特征中提取关键点特征；