[发明专利]一种基于关键点增强的驾驶员动作分类方法

权利要求书

1.一种基于关键点增强的驾驶员动作分类方法，其特征在于，包括以下步骤：

步骤1：使用现有的StateFarm数据集作为驾驶员行为图像数据集；

步骤2：构建关键点增强模型，使用ResNet-50作为网络骨干，构建了高效的频道注意力模块来学习通道注意力并提取输入驾驶图像的全局特征；同时使用Lightweight OpenPose检测驾驶员的头部和手部，并使用RoI Align提取其特征；然后，将关键点特征输入到自适应加权残差瓶颈中，对模型参数进行自适应加权；最终的分类结果是全局和关键点两个分支输出的融合；

步骤3：训练关键点增强模型；基于深度学习框架Tensorflow，采用adam优化调参；使用的传统数据增强方法包括(1)用随机宽高比比值∈(0.75,1.33)裁剪原始图像比例∈(0.08,1.0)，并将其缩放到224×224；(2)以概率0.5水平翻转图像；(3)利用色彩抖动技术改变图像的亮度、对比度、饱和度、色调；使用APEX混合精度来加速神经网络的训练；

步骤4：测试关键点增强模型。

2.根据权利要求1所述的一种基于关键点增强的驾驶员动作分类方法，其特征在于，步骤2所述的构建关键点增强模型，使用ResNet-50作为网络骨干，构建了高效的频道注意力模块来学习通道注意力并提取输入驾驶图像的全局特征；同时使用Lightweight OpenPose检测驾驶员的头部和手部，并使用RoI Align提取其特征；然后，将关键点特征输入到自适应加权残差瓶颈中，对模型参数进行自适应加权；最终的分类结果是全局和关键点两个分支输出的融合；具体步骤如下：

步骤201：对于输入的驾驶图像，采用集成了高效的频道注意力模块的ResNet作为全局特征提取器；其设计思想是:在卷积神经网络中普遍采用的全局平均池是频域特征分解的一种特例，仅使用它来表示通道注意力是不够的；因而采用FcaNet中提出的多频谱通道的注意力，增加了对不同频率域信息的使用；受ECA-Net启发，该模块使当前卷积通道只与k个相邻通道交互；一维卷积的核大小k即表示参与注意力计算的k个邻居；模块中的通道权重由一维卷积生成，其中核大小k根据通道数C计算如下：

式中下标odd表示k是奇数；在设计的模块中，为ResNet-50设置相关参数k＝9；

步骤202：采用Lightweight OpenPose来检测驾驶员的关键点，再应用RoI Align生成精细的关键点特征；

步骤203：基于WeightNet设计自适应加权残差瓶颈，具体来说，使用1×1卷积层代替全连接层，用分组1×1卷积层代替分组全连接层；然后利用该子网为残差瓶颈生成卷积权值；自适应加权残差瓶颈比普通的残差瓶颈捕获更多的特定于类别的信息；考虑到自适应加权运算的计算资源消耗，只在最后的卷积阶段使用自适应加权残差瓶颈；

步骤204：将关键点特征输入到自适应加权残差瓶颈中，以输出重加权的关键点特征；拼接两个分支输出的特征，馈送入最终的分类器。