[发明专利]一种利用特征自适应加权的安全驾驶监测方法

说明书

本发明公开了一种利用特征自适应加权的安全驾驶监测方法。本发明研究了不同尺度的全局特征与关键点特征的融合策略。针对融合过程中的注意力问题，本发明并非直接级联全局特征和关键点特征，而是针对两者提出基于姿态的特征融合模块。驾驶员行为的类别差异表现在不同的图像区域，模型应关注不同输入图像的不同区域，因此提出了自适应加权模块，通过学习一组特定于输入数据的专家权值来选择用于计算的卷积核，这为驾驶员动作识别提供了一个新的方向，并进一步提高驾驶员行为识别准确率。本发明在交通安全领域有重要的应用价值。

技术领域

本发明属于图像处理和模式识别领域，具体涉及一种利用特征自适应加权的安全驾驶监测方法。

背景技术

尽管道路和车辆设计的安全性得到了改善，但致命事故的总数仍在增加。《世界卫生组织(WHO)2017年全球状况报告》报告说，全世界每年因道路交通事故造成的死亡估计为125万，道路交通事故造成多达5千万人非致命性伤害。此外，道路交通事故会造成巨大的财产损失，并且由于分心驾驶而导致的道路事故数量正在稳步增加，因此驾驶员行为识别算法的研究对道路安全而言是一项重要但具有挑战性的任务。

发明内容

为解决上述问题，本发明公开了一种利用特征自适应加权的安全驾驶监测方法，发明中使用的特征融合和动态卷积的方法在测试阶段实现了驾驶员行为识别准确率的提高。

为达到上述目的，本发明的技术方案如下：

一种利用特征自适应加权的安全驾驶监测方法，包括以下步骤：

步骤1：使用现有的StateFarm分心驾驶数据集作为实验数据集；

步骤2：构建特征自适应加权模型，本发明使用ResNet作为网络全局特征提取器，使用姿态估计模型来捕获关键点级语义，通过基于姿态的特征融合模块将全局特征和关键点特征相融合，该模块采用多分支结构，一个分支使用全局平均池化层提取全局特征的注意力，另一个分支直接使用逐点卷积提取关键点特征的通道注意力；随后，将融合的特征馈送到自适应加权模块中，以对卷积神经网络进行动态调整；利用全连接层动态生成一组依赖于输入的权重，并将其与相应的卷积参数相结合，以生成新的卷积核；最后，该模块的输出特征被输入到分类器；

步骤201：对于输入的驾驶图像，采用ResNet作为模型主干来提取全局特征；

步骤202：使用姿势估计模型检测驾驶员的关键点，通过后处理生成关键点的边界框，再通过RoI Align提取关键点特征并建模；由于存在由于遮挡等原因无法检测到关键点的情况，为关键点响应设置了一个阈值；响应值低于阈值的关键点将不参与后续计算；上述网络为每个关键点生成单独的特征图；

步骤203：驾驶员动作的类别差异主要体现在关键点细节上，因此级联融合全局特征和关键点特征；

步骤204：为了增强有用的关键点特征通道的表示并抑制不相关的特征，提出了自适应加权模块以对不同关键点特征通道的激活强度进行重新校准；自适应加权模块用于将融合特征传递到分类器之前对其进行转换；将每个输入作为n个专家的线性组合来计算卷积核，以下是该模块的详细描述：

自适应加权模块在卷积层中设置多个卷积核；每个卷积核的权重由卷积层的输入通过一个全连接层决定；最后通过加权求和得到一组为输入量身定做的卷积核，从而实现一次卷积；将全局和关键点的融合特征作为自适应加权模块的输入；融合特征揭示了驾驶员动作类别，引导不同专家专注于他们感兴趣的输入；卷积层中的n个专家权值由融合特征决定；换言之，n个专家的权重在所有样本中都是各异的，每个输入都用不同的权重处理；具体来说，动态生成专家权重α＝r(f)，并将其与相应的原始参数结合以生成新的卷积核；

α＝r(f)＝S(FC(GAP(f)))#(5)