[发明专利]一种基于姿态估计特征融合的驾驶员行为识别方法

说明书

本发明公开了一种基于姿态估计特征融合的驾驶员行为识别方法，结合驾驶员人体特征和关键点特征以提高判别力。本发明首先使用YOLO‑V4检测到驾驶员，再通过卷积网络提取驾驶员的身体特征。在模型另一条支路上利用OpenPose显示地学习与驾驶员行为相关的关键点特征。在此基础上，本发明设计一种门控式注意力聚集模块，以充分利用身体特征与关键点特征之间的相互依赖性。此外，本发明应用了在ImageNet数据集上探索出的自动增强策略以进行数据扩充。对比目前现有的驾驶员识别方法，本发明进一步提高驾驶员行为识别准确率，在交通安全领域有重要的应用价值。

技术领域

本发明属于图像处理和模式识别领域，具体涉及一种基于姿态估计特征融合的驾驶员行为识别方法。

背景技术

尽管道路和车辆设计的安全性得到了改善，但致命事故的总数仍在增加。《世界卫生组织(WHO)2017年全球状况报告》报告说，全世界每年因道路交通事故造成的死亡估计为125万，道路交通事故造成多达5千万人非致命性伤害。此外，道路交通事故会造成巨大的财产损失，并且由于分心驾驶而导致的道路事故数量正在稳步增加。因此驾驶员行为识别算法的研究对道路安全管理和交通智能化有重要的意义。

发明内容

为解决上述问题，本发明公开了一种基于姿态估计特征融合的驾驶员行为识别方法,可以学习并聚合驾驶员的身体和关键点特征，并在测试阶段实现了实时驾驶员行为识别,在交通安全领域有重要的应用价值。

为达到上述目的，本发明的技术方案如下：

一种基于姿态估计特征融合的驾驶员行为识别方法，包括以下步骤：

步骤1：使用公开的StateFarm数据集作为驾驶员行为识别实验数据集；

步骤2：使用基线预处理和在ImageNet上搜索到的最佳AutoAugment策略，对StateFarm数据集进行数据增强；

步骤201：基线模型的预处理使用标准的Inception-style预处理方法，包括将像素值缩放到[-1,1]，50％概率水平翻转和颜色的随机扭曲；在标准基线的预处理之上应用AutoAugment策略；

步骤202：在大规模图像数据集ImageNet上利用AutoAugment搜索学习图像增强的最佳策略，并构建最终的ImageNet训练策略组；

步骤203：对于一个小批量中的每张图像，随机均匀地选择子策略以生成变换图像；

步骤3：构建基于姿态估计的特征融合网络，其包含三部分：驾驶员身体特征提取、关键点特征提取以及特征融合与分类；具体描述如下：

步骤301：设计的模型以640×480×3的原始图像作为输入；为了减少冗余的背景信息，首先使用YOLO-V4检测驾驶员身体区域，其引入的额外开销很小；使用ResNet-50提取检测到的驾驶员的身体特征，其采用在ImageNet数据集上预训练的权重进行初始化；

步骤302：使用Openpose同步检测原始图像中驾驶员关键点，再通过RoI Align提取关键点特征，并进行全连接及最大池化操作；其实质为利用估计姿势作为指导，针对不同驾驶行为在关键点级别提取局部特征；

步骤303：设计门控式注意力融合模块，以稳定训练过程并增强关键点特征与身体特征的交互作用，其训练采用无监督的方法；

将这两种特征输入到门控式注意力融合模块中，输出的注意力向量对融合特征重新加权；门控式注意力融合模块使得模型专注于区分性强的关键点，并强调富含信息的通道；