[发明专利]一种通过关键点条件网络监控机动车辆驾驶员的方法

权利要求书

1.一种通过关键点条件网络监控机动车辆驾驶员的方法，其特征在于，包括以下步骤：

步骤1：实验数据采用StateFarm分心驾驶数据集；

步骤2：构建关键点条件网络；所设计的模型包含两个分支，一个分支基于ResNet利用改进的空洞金字塔池化层来提取驾驶图像的全局特征；另一个分支首先通过姿态估计模型提取关键点特征，并将这两种特征串联起来，送入关键点条件计算模块，其中生成的注意向量对融合后的特征重新加权；该模块引导模型使用关键点特征信息来强调与驾驶行为分类相关的更具区别性的特征通道，其输出是最终的分类表示；

步骤3：训练关键点条件网络；基于深度学习框架Tensorflow，采用softmax作为分类损失函数；

步骤4：对关键点条件网络进行测试。

2.根据权利要求1所述的一种通过关键点条件网络监控机动车辆驾驶员的方法，其特征在于，步骤2所述的构建关键点条件网络模型，所设计的模型包含两个分支，一个分支基于ResNet利用改进的空洞金字塔池化层来提取驾驶图像的全局特征；另一个分支首先通过姿态估计模型提取关键点特征，并将这两种特征串联起来，送入关键点条件计算模块，其中生成的注意向量对融合后的特征重新加权；该模块引导模型使用关键点特征信息来强调与驾驶行为分类相关的更具区别性的特征通道，其输出是最终的分类表示；具体描述如下：

步骤201：网络模型使用ResNet作为骨干，将Conv5_x中的卷积层设置为步幅为1，空洞率为2，并结合改进的空洞空间金字塔池化层以提取驾驶图像的全局特征；对于输入图像，大尺度特征编码长范围上下文，小尺度特征保留细节，而多尺度特征的提取是通过改变空洞率来实现的，因此合并多个空洞卷积分支，即空洞空间金字塔池化ASPP；本发明中对ASPP层进行改进以融合驾驶图像中的上下文，考虑到空洞卷积和池化操作的方式不同，增加了两个最大池化层4×4和8×8来丰富特征融合的多样性，以增加感受野；然后，添加上采样层以恢复特征尺寸；在第一条并行路径中加入1×1卷积以保留原始特征；此外，在所有并行路径中使用1×1卷积，将特征通道数减少到128个；最后，将改进的ASPP层中所有并行路径的输出特征串联起来，输出通道数为768个；

步骤202：模型的关键点分支中利用Lightweight OpenPose定位驾驶员的头和手，然后使用RoI Align从全局特征中提取关键点特征；

步骤203：考虑驾驶员行为类别差异，提出关键点条件计算模块，利用关键点特征对全连接层进行条件调整；该模块的输入f^k是从输入的驾驶图像中提取的关键点特征，与输入相关的专家权重计算如下:

r(f^k)＝S(FC(GAP(f^k))) (1)

其中S表示Sigmoid激活函数，FC表示全连接层，GAP表示全局平均池化层；全连接层将指示驾驶动作类别的关键点特征映射到n个专家权重；全连接层的原始参数设为{W₁，W₂，…，W_n}；W_i作为第i类特征的权重，即各维度特征的重要性以及对最终得分的影响；每个类别的得分通过特征的加权求和得到，然后通过Softmax将其映射为概率；

全连接层中关键点相关参数表示为{α₁·W₁，α₂·W₂，…，α_n·W_n}；最终的分类特征计算为

F^cls＝(α₁·W₁+…+α_n·W_n)*F (2)

其中，n为专家数，·为点积运算，*为矩阵积运算；每个核W_i的维数仍与原来全连通层的维数相同；

全连接层中n个专家的权重取决于图像中驾驶员的关键点特征；这些关键点特征反映了驾驶行为类别信息，并引导不同的专家关注它们感兴趣的输入；也就是说，n个专家的权重在所有的输入中是不同的，其中每个输入都可以用不同的权重来处理；利用关键点条件计算模块将条件计算的粒度细化到层级；在实际预测时每张驾驶图像所使用的全连接层的参数是不同的。