[发明专利]基于ROI-KNN卷积神经网络的面部表情识别方法

说明书

本发明公开了基于ROI‑KNN卷积神经网络的面部表情识别方法，该方法包括以下步骤：S1、获取驾驶过程中的驾驶员的视频影像数据；S2、对所述视频影像数据进行人脸定位，提取人脸特征区域；S3、按预设时间间隔截取所述人脸特征区域的视频帧作为面部图像数据；S4、对所述面部图像数据进行增强校正，得到面部表情图像；S5、将所述面部表情图像输入训练后的深度卷积神经网络模型；S6、输出驾驶员面部表情识别结果。通过结合感兴趣区域和K最近邻算法构建的深度卷积神经网络模型，能提高人脸表情数据在识别模型中训练效果，从而降低由于面部表情训练数据过少造成的深度卷积神经网络泛化能力不足的问题，提高面部表情识别的效率。

技术领域

本发明涉及表情识别技术领域，具体来说，涉及基于ROI-KNN卷积神经网络的面部表情识别方法。

背景技术

驾驶员的驾驶状态对安全驾驶起着至关重要的作用，通过实时检测出驾驶员的驾驶状态，可以很好地确保驾驶员的安全驾驶。

目前对驾驶员的驾驶状态进行分析判断主要分为接触式和非接触式两大类。其中，接触式方法主要为通过穿戴式设备等检测驾驶员脑电信号、肌电信号等生理信号来判断驾驶员的驾驶状态，该方法主要的缺点是检测过程中会对驾驶员安全驾驶造成影响且成本较高；非接触式的方法分为三小类，第一类是通过检测车辆的行驶轨迹来判断驾驶员的驾驶状态，但是该方法受环境道路影响较大且准确率低，第二种方法是通过实时检测方向盘转动角度、刹车离合受力程度等情况判断驾驶员的驾驶状态，但是该方法受到驾驶员个人的驾驶习惯影响较大；第三种方法是利用计算机视觉方法，利用摄像头拍摄到的驾驶员面部图像判断出驾驶员当前的表情，进而实时检测出驾驶员的驾驶状态，该方法具有实时性好、准确率高的优点，因此，计算机视觉方法检测驾驶员的驾驶状态是当前的主流方向。

因此面部表情识别是情感识别计算中重要的研究课题之一。因为面部五官的独特性，其具有丰富的变化特性，能够构成多种程度与多种组合，从而表现出人的丰富的情感情绪，反映出人最真实的情感表现；即表情能结合人脑中预存的先验知识，构成生物情感认知系统中最敏捷有效的识别部分，也因此面部表情在情感交互中承载了大部分的信息。

而这些情感表现对计算机而言，则是一项异常艰巨的任务。由于计算机不具备人一样的独立思考能力与辨识能力，因此其想要完成表情识别的任务，就需要大量的训练数据，通过构建全面的深度学习的识别模型来完成表情认知，从而降低模型系统的不确定性。然而，目前尚未研究出面部表情的自然大数据集，因此现有的面部表情识别模型系统中存在着许多的未知性，尽管在少数数据集的测试集上表现良好，但当其投入实际应用时，模型系统对大量随机数据的处理与识别能力变得不够理想，也难以保证识别结果的准确度。

授权公告号为CN110348350B，发明名称为一种基于面部表情的驾驶员状态检测方法的中国专利公开了一种检测方法，该方法通过灰度化、Gamma校正以及PCA降维处理，使得面部图像大小减小、特征增强，通过nception结构设计使得面部表情识别卷据神经网络变得更加轻量化，同时具有更好的检测效果即提高了驾驶员状态检测的准确率。但该方法存在一定的不足，其在维持轻量化的过程中，降低了卷积神经网络的训练量及学习能力，应对日益复杂的识别场景时，会影响模型的识别与检测效果。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出基于ROI-KNN卷积神经网络的面部表情识别方法，以克服现有相关技术所存在的上述技术问题。

为此，本发明采用的具体技术方案如下：

基于ROI-KNN卷积神经网络的面部表情识别方法，该方法包括以下步骤：

S1、获取驾驶过程中的驾驶员的视频影像数据；

S2、对所述视频影像数据进行人脸定位，提取人脸特征区域；

S3、按预设时间间隔截取所述人脸特征区域的视频帧作为面部图像数据；

S4、对所述面部图像数据进行增强校正，得到面部表情图像；