[发明专利]多特征融合的情绪识别方法、装置和存储介质

说明书

本发明公开了一种多特征融合的情绪识别方法。该方法包括：获取语音数据和人脸图像数据；对所述语音数据进行语音情绪识别，获得语音情绪数据，并对所述人脸图像数据进行人脸情绪识别，获得人脸情绪数据；对所述语音情绪数据和人脸情绪数据进行融合处理，得到情绪识别结果。本发明还公开了一种多特征融合的情绪识别装置及计算机可读存储介质。本发明能够实现提供一种利用语音和人脸图像两种特征信息进行情绪识别，识别更准确更全面的多特征融合的情绪识别方法。

技术领域

本发明涉及人工智能领域，尤其涉及一种多特征融合的情绪识别方法、装置和计算机可读存储介质。

背景技术

情绪在人们的生活中起着举足轻重的作用，对人们的思维、决策和行为产生很大程度的影响。随着社会竞争压力的增加，如果常面临繁重的精神压力，长期处于不良情绪容易导致失眠以及增加焦虑症、抑郁症等心理疾病发病率、威胁人们健康甚至生命。因此对情绪易失控的人群，通过情绪识别及早发现情绪是否异常，有助于帮助缓解这类人群的精神压力，改善人体的身心健康状况。

然而，目前的情绪识别容易受到周围环境因素的影响如光照明暗、角度不同、遮挡区域等问题的影响，导致单一特征的情绪识别不够准确，如语音情感识别容易受到周围环境噪声的干扰，面部表情识别容易受到光照明暗、拍摄角色、遮挡区域等的影响，使得单一特征的情绪识别存在一定的局限性，情绪识别容易出现偏差，无法满足现代社会对情绪识别高要求的需要。

发明内容

本发明的主要目的在于提供一种多特征融合的情绪识别方法、装置和计算机可读存储介质，旨在实现提供一种利用语音和人脸图像两种特征信息进行情绪识别，识别更准确更全面的多特征融合的情绪识别方法。

为实现上述目的，本发明提供一种多特征融合的情绪识别方法，所述多特征融合的情绪识别方法包括以下步骤：

获取语音数据和人脸图像数据；

对所述语音数据进行语音情绪识别，获得语音情绪数据，并对所述人脸图像数据进行人脸情绪识别，获得人脸情绪数据；

对所述语音情绪数据和人脸情绪数据进行融合处理，得到情绪识别结果。

可选地，所述对所述语音数据进行语音情绪识别，获得语音情绪数据的步骤包括：

对所述语音数据进行分帧加窗处理，获得语音分析帧；

对所述语音分析帧进行短时傅里叶变换，获得语音声谱图；

根据预设的神经网络算法对所述语音声谱图进行情绪识别，获得语音情绪数据。

可选地，所述根据预设的神经网络算法对所述语音声谱图进行情绪识别，获得语音情绪数据的步骤包括：

对所述语音声谱图进行卷积操作，获得对应的声谱特征图；

对所述声谱特征图进行池化操作，并提取主要的语音情感特征；

对提取的语音情感特征进行分类识别，获得语音情绪数据。

可选地，所述对所述语音声谱图进行卷积操作，获得对应的声谱特征图的步骤之前包括：

对所述语音声谱图进行处理，获得简化语音声谱图；

对所述语音声谱图进行卷积操作，获得对应的声谱特征图的步骤包括：

对所述简化语音声谱图进行卷积操作，获得对应的声谱特征图。

可选地，所述对所述人脸图像数据进行人脸情绪识别，获得人脸情绪数据的步骤包括：

对所述人脸图像数据进行预处理，获得灰度图像；

通过灰度共生矩阵方法对所述灰度图像进行人脸纹理分析，获得灰度共生矩阵；