[发明专利]一种基于面部特征与语音特征的情绪识别方法

权利要求书

1.一种基于面部特征与语音特征的情绪识别方法，由摄像头、麦克风和情绪处理单元实现，其特征在于，包括：

摄像头采集驾驶员的视频数据，并将其发送至情绪处理单元；

麦克风采集驾驶员的语音数据，并将其发送至情绪处理单元；

情绪处理单元分别使用视频数据和语音数据对驾驶员的情绪进行识别，得到视频情绪识别结果和语音情绪识别结果，所述视频情绪识别结果，包括微表情识别结果，所述微表情识别结果由基于运动场特征的微表情识别方法得到；

情绪处理单元将所述视频情绪识别结果和语音情绪识别结果进行融合，得到融合情绪识别结果作为最终的情绪识别结果；

所述麦克风，其数量为多个，所述多个麦克风组成麦克风阵列；

所述视频情绪识别结果，还包括宏表情识别结果；

所述基于运动场特征的微表情识别方法，实施为：

情绪处理单元获取驾驶员的中性表情的图像帧，并将其作为参考帧图像存储；

情绪处理单元获取视频数据中的驾驶员的当前帧图像；

情绪处理单元根据所述当前帧图像和参考帧图像进行对比，得到两帧之间的运动场；

情绪处理单元根据所述两帧之间的运动场，得到所述运动场的应变图像；

情绪处理单元根据所述运动场的应变图像，按预设的阈值确定当前帧图像的微表情；

所述情绪处理单元根据所述当前帧图像和参考帧图像进行对比，得到两帧之间的运动场，为基于特征的方法得到，实施为情绪处理单元对驾驶员的人脸图像进行特征识别、分割后，通过测量特征的位移来确定运动场；

所述情绪处理单元将所述视频情绪识别结果和语音情绪识别结果进行融合，包括：

情绪处理单元将微表情识别结果和宏表情识别结果进行融合，得到视频情绪识别结果，所述视频情绪识别结果包括视频情绪识别结果权值；其中微表情识别结果和宏表情识别结果均设有预设的权值，所述微表情识别结果的权值大于所述宏表情识别结果的权值；当所述微表情识别结果和宏表情识别结果一致时，视频情绪识别结果权值为预设的第一权值，当所述微表情识别结果和宏表情识别结果不一致时，视频情绪识别结果权值为预设的第二权值，所述第一权值大于所述第二权值；

情绪处理单元将视频情绪识别结果和语音情绪识别结果进行融合，所述语音情绪识别结果包含预设的权值，所述融合后的结果为情绪识别结果。

2.如权利要求1所述的方法，其特征在于，所述情绪，包括三种情绪，分别为：中性或快乐情绪、悲伤情绪和愤怒情绪三种。

3.如权利要求1所述的方法，其特征在于，所述情绪处理单元获取驾驶员的中性表情的图像帧，包括：

情绪处理单元获取摄像头采集的驾驶员的视频数据；

情绪处理单元从所述视频数据中截取预设数量的图像帧，所述截取为从前向后截取；

情绪处理单元根据预设的规则从预设数量的图像帧中选取一个图像帧作为驾驶员的中性表情的图像帧。