[发明专利]一种利用重映射注意力识别分心驾驶的方法

权利要求书

1.一种利用重映射注意力识别分心驾驶的方法，其特征在于，包括以下步骤：

步骤1：使用公开的StateFarm分心驾驶数据集作为实验数据集；

步骤2：对StateFarm数据集进行数据增强处理，包括：随机裁剪，随机旋转角度，水平翻转，仿射变换，RGB颜色扰动；

步骤3：构建重映射注意力网络，其由多尺度注意力编码器，部位重映射和部位注意力丢失组成；

步骤4：训练重映射注意力网络；训练时采用softmax交叉熵损失函数进行求导；

步骤5：对重映射注意力网络进行测试，在网络中输入驾驶图像进行分类。

2.根据权利要求1所述的一种利用重映射注意力识别分心驾驶的方法，其特征在于，步骤3所述的构建重映射注意力网络，其由多尺度注意力编码器，部位重映射和部位注意力丢失组成；该模型首先生成全局特征图和头部，手和肘部五个部位热图；对于驾驶员的每个部位，通过将热图与全局特征图相乘来生成部位引导的特征图；然后，逐元素将全局特征和部位引导特征相加，并将总和输入全局平均池化层中，以生成部位增强的全局表示；最后，级联五个分支的输出以分类；其中，在模型训练时使用部位注意力丢失以增强鲁棒性；

步骤301：提出多尺度注意力编码器以提取全局特征，这些特征被所有后续分支所共享，多尺度注意力编码器中基于膨胀空间金字塔池，以充分利用不同尺度的全局上下文；本发明在膨胀空间金字塔池中加入了一个非局部块作为注意力模块；具体而言，x表示输入，输出其中i和j是特征位置索引；将两两函数f(x_i，x_j)设置为点积运算，以计算注意力系数；为了简化，将g设为g(x_j)＝x_j，将归一化函数C设为C(x)＝n，其中n为x的有效像素数，因此

然后将注意力图进行1×1卷积，并加入到x中，得到非局部模块的最终输出z，即z_i＝W_zy_i+x_i，其中W_z是卷积权值；

步骤302：使用OpenPose来预测驾驶员部位热图，这些富含空间信息的部位热图被视为全局特征的注意力图；对于每个部位，将热图与全局特征图进行点乘以生成局部细化的特征；将驾驶员部位信息投影到全局特征，使特征表示更具区分性；

从多尺度注意力编码器生成全局特征图为F∈R^W×H×C和从OpenPose生成的驾驶员部位热图为H∈R^W×H×3；在F之上，添加了一个1×1卷积层来降低维数；通道数为C，跨度为1，填充为1，驾驶员部位热图上的值表示各部位的分布概率，等效于空间注意力或蒙版；热图H＝{h₁，h₂，h₃，h₄，h₅}中h_i是第i个部位热图；然后，对全局特征图F和每个热图h_i进行点乘，以生成部位引导特征图

其中表示逐元素乘法；然后逐元素地相加和全局特征F；通过全局平均池化对第i个部位增强的全局表示g_i∈R^1×C进一步提取判别特征；

最终特征图G∈R^5×C由这些部位增强的特征图级联而成；令Γ(H，F)表示热图H和特征图F之间的部位重映射；G表示为：

步骤303：提出了“部位注意丢弃”使得模型学习所有部位，而不是仅依赖于最有区别度的部位；在训练过程中，以固定概率p随机丢弃部位热图，其中(1-p)为保持概率；当某个部位被丢弃或忽略时，模型被迫增强其他部位的激活值，从而提高识别鲁棒性；注意力丢弃后的部位热图为：

其中m～Bernoulli(p)

步骤304：分类器由一个全连接层和一个softmax层组合而成，级联多分支输出的部位增强的全局表示特征图作为输入，最后的输出为不同驾驶行为类别的概率。