[发明专利]一种基于多层特征融合的卷积神经网络打哈欠行为识别方法及装置

权利要求书

1.一种基于多层特征融合的卷积神经网络打哈欠行为识别方法，其特征在于，包含如下步骤：

步骤1，采集驾驶员在驾驶状态下的面部视频帧图像作为样本；

步骤2，采用人脸检测算法对所述面部视频帧图像进行人脸区域定位，根据人脸检测算法给出的人脸坐标（X，Y，W，H），提取出人脸图像，其中（X，Y）表示人脸图像左上角的点，W，H分别对应人脸图像的宽和高；

步骤3，挑选出非打哈欠状态下驾驶员的人脸图像，归集为类别0，挑选出打哈欠状态下驾驶员的面部图像，归集为类别1，所述非打哈欠状态包括面无表情、讲话、微笑等；

步骤4，训练基于ShuffleNetV2网络修改的多层特征融合的卷积神经网络，直到在测试集上精度达到最优；

步骤5，将驾驶员在驾驶状态下的实时面部视频帧图像经过步骤2处理后获取人脸区域，每隔1-4s输入训练好的卷积神经网络，输出单张图像是否张嘴识别结果。

2.根据权利要求1所述的一种基于多层特征融合的卷积神经网络打哈欠行为识别方法，其特征在于，还包括步骤6，打哈欠行为分析：对步骤5检测到张嘴时，对其前后2~3s内的视频帧图像进行检测，从而得出张嘴的连续时间长度，通过连续时间长度设定阈值，进而得到是否存在打哈欠行为。

3.根据权利要求1所述的一种基于多层特征融合的卷积神经网络打哈欠行为识别方法，其特征在于，步骤2中所述人脸检测算法采用高效快速的人脸检测算法MTCNN。

4.根据权利要求1-3任一项所述的一种基于多层特征融合的卷积神经网络打哈欠行为识别方法，其特征在于，步骤4中所述基于ShuffleNetV2网络修改的多层特征融合的卷积神经网络，具体修改如下：

（1）ShuffleNetV2的整个网络结构可以分成4个阶段：stage1、stage2、stage3、stage4，在stage_2_1/concat层，stage_3_1/concat层，stage_4_1/concat层后面各增加一个全局的均值AvePooling层，用来提取对应层的特征，最后把三个增加的均值AvePooling层提取的特征和原网络结构中的最后一个AvePooling层的特征拼接在一起得到一个新的特征，用来做打哈欠张嘴识别网络的训练；

（2）修改网络的单一Loss训练方式Softmax分类器为SVM分类器和Center_Loss相结合的多Loss训练方式。

5.根据权利要求4所述的一种基于多层特征融合的卷积神经网络打哈欠行为识别方法，其特征在于，步骤4中所述基于ShuffleNetV2网络修改的多层特征融合的卷积神经网络，具体修改还包括：（3）修改网络输入的大小为112*112，原网络输入为224*224，通过将网络输入的宽和高各缩小一半，减少4倍的运算量。

6.一种基于多层特征融合的卷积神经网络打哈欠行为识别装置，其特征在于，该装置具体包括样本集获取模块、样本处理模块、训练模块、检测模块、分析模块，上述模块依次电连接；

所述样本集获取模块，用于执行权利要求1-5任一项所述的一种基于多层特征融合的卷积神经网络打哈欠行为识别方法的步骤1的步骤；

所述样本处理模块，用于依次执行权利要求1-5任一项所述的一种基于多层特征融合的卷积神经网络打哈欠行为识别方法的步骤2和步骤3的步骤；

所述训练模块，用于执行权利要求1-5任一项所述的一种基于多层特征融合的卷积神经网络打哈欠行为识别方法的步骤4的步骤；

所述检测模块，用于执行权利要求1-5任一项所述的一种基于多层特征融合的卷积神经网络打哈欠行为识别方法的步骤5的步骤；

所述分析模块，用于执行权利要求2或4-5任一项所述的一种基于多层特征融合的卷积神经网络打哈欠行为识别方法的步骤6的步骤。