[发明专利]一种基于深度学习的哈欠检测方法

说明书

本发明涉及一种基于深度学习的哈欠检测方法，包括以下步骤：1)收集样本，创建哈欠样本数据库；2)基于所述哈欠样本数据库构建并训练一哈欠初步检测模型，该哈欠初步检测模型的特征提取过程中，在高层语义特征基础上融合低层局部细微特征；3)利用所述哈欠初步检测模型对待测图像进行检测，获得初步检测结果；4)在所述初步检测结果中利用人脸关键点信息提取嘴巴区域；5)以椭圆拟合嘴巴，将椭圆长短轴分别对应的上下嘴唇间与左右嘴角间的距离，获得张嘴程度，根据所述张嘴程度判定是否打哈欠。与现有技术相比，本发明以特征融合的模型检测结果为初步检测结果，结合嘴巴区域特征分析确定最终检测结果，具有准确率高和检全率高等优点。

技术领域

本发明涉及深度学习技术领域，尤其是涉及一种基于深度学习的哈欠检测方法。

背景技术

视频序列中人体行为识别是一项涉及计算机视觉、模式识别及人工智能等多领域的研究课题，因其在商业、医疗和军事等领域中有广泛的应用价值，一直是人们研究的热点。然而，因为人体行为的多样性和非刚性及视频图像固有的复杂性，所以要提出一种稳健而又实时准确的方法仍然是难点。

由于噪声和高度动态的背景，不同的光照条件，以及小尺寸和多个可能的匹配对象，在一个典型的课堂环境中检测人的打哈欠行为是一个具有挑战性的任务。

现有一种司机打哈欠的检测方法(Abtahi S,Hariri B,Shirmohammadi S.Driverdrowsiness monitoring based on yawning detection.2011 IEEE.2011:1-4)，其包括人脸检测、人脸跟踪和嘴巴检测以及打哈欠判定步骤。该方法通过检测皮肤颜色和纹理来达到检测人脸的效果，然后用卡尔曼滤波器跟踪算法预测人脸的位置，最后检测嘴巴位置，根据嘴巴内轮廓曲线求出上下嘴唇间距离以及左右嘴角间距离，从而判定是否打哈欠。该方法存在的不足在于：1)基于颜色图像分割的人脸检测算法不适合复杂场景；2)依赖角点检测拟合嘴巴内轮廓鲁棒性差。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度学习的哈欠检测方法。

本发明的目的之一是检测复杂环境(如教室环境)中的打哈欠行为。

本发明的目的之二是提高哈欠检测的准确率和检全率。

本发明的目的可以通过以下技术方案来实现：

一种基于深度学习的哈欠检测方法，包括以下步骤：

1)收集样本，创建哈欠样本数据库；

2)基于所述哈欠样本数据库构建并训练一哈欠初步检测模型，该哈欠初步检测模型的特征提取过程中，在高层语义特征基础上融合低层局部细微特征；

3)利用所述哈欠初步检测模型对待测图像进行检测，获得初步检测结果；

4)在所述初步检测结果中利用人脸关键点信息提取嘴巴区域；

5)以椭圆拟合嘴巴，将椭圆长短轴分别对应的上下嘴唇间与左右嘴角间的距离，获得张嘴程度，根据所述张嘴程度判定是否打哈欠。

进一步地，所述哈欠样本数据库的样本个数至少为1万。

进一步地，所述哈欠样本数据库的样本按照PASCAL VOC数据集的格式制作。

进一步地，所述哈欠初步检测模型包括依次设置的特征提取层、RPN层、RoIPooling层和决策卷积层，特征提取层输出的feature maps被共享用于所述RPN层和RoIPooling层中。

进一步地，所述在高层语义特征基础上融合低层局部细微特征具体为：