[发明专利]一种基于Video Transformer的疲劳驾驶检测方法

权利要求书

1.一种基于Video Transformer的疲劳驾驶检测方法，其特征在于，包括以下步骤：

S1、从正常光照数据集中获取待测视频帧；

S2、通过MTCNN神经网络进行人脸图像提取；

S3、将提取出的人脸图像序列输入到Video Transformer中获取最终疲劳检测判定结果；

所述步骤S2中通过MTCNN神经网络进行人脸图像提取具体包括以下步骤：

（1）从正常光照视频集中，拆分出视频帧；

（2）将视频帧进行处理，得到复杂光照环境下的视频帧，模拟仿真驾驶员夜间行驶的视频帧；

（3）针对待测视频帧使用MTCNN神经网络进行人脸提取操作，得到人脸候选窗口和5个人脸关键点位置信息；

所述步骤S3中将提取出的人脸图像序列输入到Video Transformer中获取最终疲劳检测判定结果具体包括以下步骤：提供给Video Transformer模型图像的原始输入维度大小为[3,6,299,299]的特征向量，使用这个尺寸来使输入与用于混合模型Video Transformer中图像特征提取的主干网络XceptionNet相兼容，通过XceptionNet提取图像特征后，得到一个维度为[2048,10,10]的特征向量，然后将该特征向量传递给一个2D卷积层和一个线性层，得到一个维度为[1,32,768]的特征向量，在得到面部图像和UV纹理图的两个重构特征向量后，将这两个重构特征向量连接起来，得到一个维度为[1,64,768]的特征向量，然后将一维学习片段嵌入添加到维度为[1,64,768]的特征向量中，对所有序列帧执行此操作，并将它们连接维度为[1,576,768]的特征向量，将学习的位置嵌入添加到维度为[1,576,768]的特征向量中，并在维度为[1,576,768]的特征向量的开头添加标记，使用最终的维度为[1,577,768]的特征向量作为所提出的Video Transformer模型的输入，训练VideoTransformer模型5个epoch，学习率为3×10⁻³，选择SGD作为优化器，并使用CrossEntropyLoss作为损失函数，模型的输出为0或者1，其中0表示清醒，1表示疲劳。

2.根据权利要求1所述的一种基于Video Transformer的疲劳驾驶检测方法，其特征在于，所述步骤S1中从正常光照数据集中获取待测视频帧具备包括以下步骤：

（1）通过原始图像I得到h、w,根据h、w设置两个尺寸为h*w的像素表格、；

（2）在上进行填充像素值，使得，其中；

（3）在上同样进行填充数值，使得，其中，，设定了；

（4）最后将与进行相乘得到一张新的图像，即，其中。

3.根据权利要求1所述的一种基于Video Transformer的疲劳驾驶检测方法，其特征在于：

所述MTCNN神经网络由三个子网结构组成，分别为Proposal Network、Refine Network和Output Network；

用Proposal Network卷积神经网络，获得候选窗体和边界回归向量，同时，候选窗体根据边界框进行校准，然后利用非极大值抑制去除重叠窗体；

使用Refine Network卷积神经网络进行操作，将经过Proposal Network确定的包含候选窗体的图片在Refine Network中训练，最后使用全连接网络进行分类，利用边界框向量微调候选窗体，最后利用非极大值抑制算法去除重叠窗体；

使用Output Network卷积神经网络进行操作，该网络比Refine Network多一层卷积层，功能与Refine Network类似，在去除重叠候选窗口的同时标定5个人脸关键点位置。