[发明专利]一种基于姿态估计特征融合的驾驶员行为识别方法

权利要求书

1.一种基于姿态估计特征融合的驾驶员行为识别方法，其特征在于，包括以下步骤：

步骤1：使用公开的StateFarm数据集作为驾驶员行为识别实验数据集；

步骤2：使用基线预处理和在ImageNet上搜索到的最佳AutoAugment策略，对StateFarm数据集进行数据增强；

步骤3：对基于姿态估计的特征融合网络进行搭建；其包含三部分：驾驶员身体特征提取、关键点特征提取以及特征融合与分类；

步骤4：训练基于姿态估计的特征融合网络；

步骤5：对基于姿态估计的特征融合网络进行测试；输入一张驾驶图像，经网络前馈输出驾驶员行为识别结果。

2.根据权利要求1所述的一种基于姿态估计特征融合的驾驶员行为识别方法，其特征在于：步骤2所述的使用基线预处理和ImageNet上搜索到的最佳AutoAugment策略，对StateFarm数据集进行数据增强，具体描述如下：

步骤201：基线模型的预处理使用标准的Inception-style预处理方法，包括将像素值缩放到[-1，1]，50％概率水平翻转和颜色的随机扭曲；在标准基线的预处理之上应用AutoAugment策略；

步骤202：在大规模图像数据集ImageNet上利用AutoAugment搜索学习图像增强的最佳策略，并构建最终的ImageNet训练策略组；

步骤203：对于一个小批量中的每张图像，随机均匀地选择子策略以生成变换图像。

3.根据权利要求1所述的一种基于姿态估计特征融合的驾驶员行为识别方法，其特征在于：步骤3所述的构建基于姿态估计的特征融合网络，其包含三部分：驾驶员身体特征提取、关键点特征提取以及特征融合与分类；具体描述如下：

步骤301：设计的模型以640×480×3的原始图像作为输入；为了减少冗余的背景信息，首先使用YOLO-V4检测驾驶员身体区域，其引入的额外开销很小；使用ResNet-50提取检测到的驾驶员的身体特征，其采用在ImageNet数据集上预训练的权重进行初始化；

步骤302：使用Openpose同步检测原始图像中驾驶员关键点，再通过RoI Align提取关键点特征，并进行全连接及最大池化操作；其实质为利用估计姿势作为指导，针对不同驾驶行为在关键点级别提取局部特征；

步骤303：设计门控式注意力融合模块，以稳定训练过程并增强关键点特征与身体特征的交互作用，其训练采用无监督的方法；

将这两种特征输入到门控式注意力融合模块中，输出的注意力向量对融合特征重新加权；门控式注意力融合模块使得模型专注于区分性强的关键点，并强调富含信息的通道；

鉴于驾驶员身体特征f_b和关键点特征f_k的振幅不同，对f_b进行缩放，使其振幅与f_k近似；再对f_k进行L2归一化，并将归一化后的f_k乘以f_b的幅值，从而减小振幅较大造成的差值；然后将f_k和f_b级联馈入全连接层和softmax层，计算出门控信号a_g；最终得到的融合特征F为：

a_g＝σ(W_g[f_b，scale(f_k)]+b_g)(1)

F＝a_g·[f_b，scale(f_k)](2)

其中“scale”表示缩放操作，“[]”表示级联操作，W_g和b_g分别表示全连接层中线性操作权值与偏置，σ表示Sigmoid激活函数，·表示点乘操作，其根据注意力权重调整特征图上不同空间位置的值；

通过共同学习和融合身体特征和关键点特征，使得最终的特征表示更具识别力；分类器由一个全连接层和一个softmax层组合而成，以融合特征图作为输入，最后的输出为不同驾驶行为类别的概率。

4.根据权利要求1所述的一种基于姿态估计特征融合的驾驶员行为识别方法，其特征在于：步骤4所述的训练基于姿态估计的特征融合网络；通过Pytorch训练模型，softmax损失作为监督；采用随机梯度下降优化网络参数，默认学习率为0.001，衰减率为0.00001，动量为0.9，批量大小为64。