[发明专利]一种基于深度学习的哈欠检测方法

权利要求书

1.一种基于深度学习的哈欠检测方法，其特征在于，包括以下步骤：

1)收集样本，创建哈欠样本数据库；

2)基于所述哈欠样本数据库构建并训练一哈欠初步检测模型，该哈欠初步检测模型的特征提取过程中，在高层语义特征基础上融合低层局部细微特征；

3)利用所述哈欠初步检测模型对待测图像进行检测，获得初步检测结果；

4)在所述初步检测结果中利用人脸关键点信息提取嘴巴区域；

5)以椭圆拟合嘴巴，将椭圆长短轴分别对应的上下嘴唇间与左右嘴角间的距离，获得张嘴程度，根据所述张嘴程度判定是否打哈欠。

2.根据权利要求1所述的基于深度学习的哈欠检测方法，其特征在于，所述哈欠样本数据库的样本个数至少为1万。

3.根据权利要求1所述的基于深度学习的哈欠检测方法，其特征在于，所述哈欠样本数据库的样本按照PASCAL VOC数据集的格式制作。

4.根据权利要求1所述的基于深度学习的哈欠检测方法，其特征在于，所述哈欠初步检测模型包括依次设置的特征提取层、RPN层、RoI Pooling层和决策卷积层，特征提取层输出的feature maps被共享用于所述RPN层和RoI Pooling层中。

5.根据权利要求1所述的基于深度学习的哈欠检测方法，其特征在于，所述在高层语义特征基础上融合低层局部细微特征具体为：

在ResNet网络基础上，通过卷积与反卷积操作使得C3与C4的feature map的大小一致，并把这两个feature map相加融合得到P2，再将P2与C2的feature map相融合得到P1，作为最终特征提取结果。

6.根据权利要求1所述的基于深度学习的哈欠检测方法，其特征在于，所述初步检测结果包括人脸部位置信息。

7.根据权利要求1所述的基于深度学习的哈欠检测方法，其特征在于，所述椭圆拟合嘴巴具体为：

501)将步骤4)获得的嘴巴区域图像转化为灰度图；

502)采用最小二乘方法拟合获得嘴巴区域的椭圆，以垂直方向夹角小的轴长度对应上下嘴唇的距离，另一条轴长度则对应左右嘴角的距离。

8.根据权利要求1所述的基于深度学习的哈欠检测方法，其特征在于，所述根据所述张嘴程度判定是否打哈欠具体为：

计算上下嘴唇的距离H与左右嘴角的距离L的比α，判断α是否大于阈值，若是，则判定为是打哈欠，若否，则判定为不是打哈欠。