[发明专利]一种基于关键点增强的驾驶员动作分类方法

说明书

本发明公开了一种基于关键点增强的驾驶员动作分类方法，本发明提出了高效的频道注意力模块来生成具有区别性的全局表示。同时，利用姿态估计提取驾驶员的关键点特征。考虑关键点信息的多样性，设计了自适应加权残差瓶颈，使输入关键点特征的模型权值具有动态性。然后融合全局分支和关键点分支的输出作为分类结果。本发明可进一步提高驾驶员行为识别准确率，在交通安全领域有重要的应用价值。

技术领域

本发明属于图像处理和模式识别领域，具体涉及一种基于关键点增强的驾驶员动作分类方法。

背景技术

如今，先进的驾驶员辅助系统(ADAS)正在开发，以通过提供提醒驾驶员潜在问题的技术来预防事故，并在发生事故时确保汽车驾驶员和乘员安全。但是，即使是当今最新的自动驾驶汽车，也需要驾驶员保持专注并准备在紧急情况下将方向盘控制回去。特斯拉自动驾驶汽车在2016年5月在佛罗里达州威利斯顿的白色卡车挂车坠毁，这是自动驾驶汽车测试中的第一起致命事故。在2018年3月，Uber的自动驾驶汽车在方向盘后方紧急备用驾驶员撞到并炸死了亚利桑那州的行人。在这两次死亡中，驾驶员本可以避免撞车事故，但证据表明他显然分心了。这也使得对分心驾驶员的检测也成为自动驾驶汽车的重要组成部分。因此，分心驾驶检测对于进一步的预防措施至关重要。如果车辆能够检测到这种干扰，然后警告驾驶员，则可以减少人为交通事故的次数。

发明内容

为解决上述问题，本发明公开了一种基于关键点增强的驾驶员动作分类方法，发明中使用的利用高效的频道注意力的关键点增强的自适应加权方法可以显式提取驾驶员图像中的判别性区域特征，并在测试阶段实现了实时驾驶员行为识别。

为达到上述目的，本发明的技术方案如下：

一种基于关键点增强的驾驶员动作分类方法，包括以下步骤：

步骤1：使用现有的StateFarm数据集作为驾驶员行为图像数据集；

步骤2：构建关键点增强模型，本发明使用ResNet-50作为网络骨干，构建了高效的频道注意力模块来学习通道注意力并提取输入驾驶图像的全局特征；同时使用Lightweight OpenPose检测驾驶员的头部和手部，并使用RoI Align提取其特征；然后，将关键点特征输入到自适应加权残差瓶颈中，对模型参数进行自适应加权；最终的分类结果是全局和关键点两个分支输出的融合；

步骤201：对于输入的驾驶图像，采用集成了高效的频道注意力模块的ResNet作为全局特征提取器；其设计思想是:在卷积神经网络中普遍采用的全局平均池是频域特征分解的一种特例，仅使用它来表示通道注意力是不够的；因而采用FcaNet中提出的多频谱通道的注意力，增加了对不同频率域信息的使用；受ECA-Net启发，该模块使当前卷积通道只与k个相邻通道交互；一维卷积的核大小k即表示参与注意力计算的k个邻居；模块中的通道权重由一维卷积生成，其中核大小k根据通道数C计算如下：

式中下标odd表示k是奇数；在设计的模块中，为ResNet-50设置相关参数k＝9；

步骤202：采用Lightweight OpenPose来检测驾驶员的关键点，再应用RoI Align生成精细的关键点特征；

步骤203：基于WeightNet设计自适应加权残差瓶颈，具体来说，使用1×1卷积层代替全连接层，用分组1×1卷积层代替分组全连接层；然后利用该子网为残差瓶颈生成卷积权值；自适应加权残差瓶颈比普通的残差瓶颈捕获更多的特定于类别的信息；考虑到自适应加权运算的计算资源消耗，只在最后的卷积阶段使用自适应加权残差瓶颈；

步骤204：将关键点特征输入到自适应加权残差瓶颈中，以输出重加权的关键点特征；拼接两个分支输出的特征，馈送入最终的分类器；