[发明专利]一种基于面部特征与语音特征的情绪识别方法

说明书

本发明公开了一种基于面部特征与语音特征的情绪识别方法，由摄像头、麦克风和情绪处理单元实现，包括：摄像头采集驾驶员的视频数据，并将其发送至情绪处理单元；麦克风采集驾驶员的语音数据，并将其发送至情绪处理单元；情绪处理单元分别使用视频数据和语音数据对驾驶员的情绪进行识别，得到视频情绪识别结果和语音情绪识别结果，所述视频情绪识别结果，包括微表情识别结果，所述微表情识别结果由基于运动场特征的微表情识别方法得到；情绪处理单元将所述视频情绪识别结果和语音情绪识别结果进行融合，得到融合情绪识别结果作为最终的情绪识别结果。本发明提供的方法，能够提高对驾驶员的情绪识别的准确率。

技术领域

本发明涉及情绪识别领域，特别涉及一种基于面部特征与语音特征的情绪识别方法。

背景技术

在很多场景中情绪识别是很有必要的，在道路运输场景中，尤其是长途运输货车在运输途中容易出现疲劳驾驶，而在短途驾驶中，驾驶员的愤怒情绪也容易导致交通事故的发生。因此有必要通过情绪识别技术判断驾驶员的情绪，用以判断驾驶员是否还适合驾驶，当驾驶员出现不适当的情绪时，提醒驾驶员停止驾驶，避免潜在的交通事故。

目前的商用的人脸识别方法往往只是进行纹理特征和几何特征进行提取分析，识别的准确率不高。

发明内容

为解决以上问题，本发明提供了一种基于面部特征与语音特征的情绪识别方法。

本发明提供的一种基于面部特征与语音特征的情绪识别方法，由摄像头、麦克风和情绪处理单元实现，包括：

摄像头采集驾驶员的视频数据，并将其发送至情绪处理单元；

麦克风采集驾驶员的语音数据，并将其发送至情绪处理单元；

情绪处理单元分别使用视频数据和语音数据对驾驶员的情绪进行识别，得到视频情绪识别结果和语音情绪识别结果，所述视频情绪识别结果，包括微表情识别结果，所述微表情识别结果由基于运动场特征的微表情识别方法得到；

情绪处理单元将所述视频情绪识别结果和语音情绪识别结果进行融合，得到融合情绪识别结果作为最终的情绪识别结果。

优选的，所述视频情绪识别结果，还包括宏表情识别结果。

优选的，所述基于运动场特征的微表情识别方法，实施为：

情绪处理单元获取驾驶员的中性表情的图像帧，并将其作为参考帧图像存储；

情绪处理单元获取视频数据中的驾驶员的当前帧图像；

情绪处理单元根据所述当前帧图像和参考帧图像进行对比，得到两帧之间的运动场；

情绪处理单元根据所述两帧之间的运动场，得到所述运动场的应变图像；

情绪处理单元根据所述运动场的应变图像，按预设的阈值确定当前帧图像的微表情。

优选的，所述情绪处理单元根据所述当前帧图像和参考帧图像进行对比，得到两帧之间的运动场，为基于特征的方法得到，实施为情绪处理单元对驾驶员的人脸图像进行特征识别、分割后，通过测量特征的位移来确定运动场。

优选的，所述情绪处理单元将所述视频情绪识别结果和语音情绪识别结果进行融合，包括：

情绪处理单元将微表情识别结果和宏表情识别结果进行融合，得到视频情绪识别结果，所述视频情绪识别结果包括视频情绪识别结果权值；其中微表情识别结果和宏表情识别结果均设有预设的权值，所述微表情识别结果的权值大于所述宏表情识别结果的权值；当所述微表情识别结果和宏表情识别结果一致时，视频情绪识别结果权值为预设的第一权值，当所述微表情识别结果和宏表情识别结果不一致时，视频情绪识别结果权值为预设的第二权值，所述第一权值大于所述第二权值；