[发明专利]一种基于视频图像和语音的双模态融合情感识别方法

摘要

本发明公开了一种基于视频图像和语音的双模态融合情感识别方法；由摄像头、麦克风和情感识别单元组成，其中情感识别单元由视频图像模态和语音模态组成。双模态模型的训练过程为：将图像训练数据集输入到卷积神经网络模型中进行训练，得到视频图像模态模型；将语音训练数据集输入到长短期记忆神经网络模型中进行训练，得到语音模态模型。摄像头采集视频图像发送到情感识别单元，分析人脸表情特征得到识别结果；麦克风采集语音数据发送到情感识别单元，分析语音情感特征得到识别结果；在决策层依据权值准则融合两个模态的识别结果并输出。本发明采用的识别方法能够提高情感识别的准确率并实现实时检测。