[发明专利]一种基于神经网络的情感识别方法、设备及介质

摘要

本申请公开了一种基于神经网络的情感识别方法、设备及介质，方法包括：确定用户对应的待识别语音；通过预先训练的声音识别模型，对待识别语音进行情感识别，得到声音识别结果；将待识别语音转换为文本，并对文本进行情感识别，得到文本识别结果；将声音识别结果与文本识别结果进行融合，得到待识别语音对应的最终结果。在通过用户的语音识别情感时，不只采用声音或者文本，而是通过双模态判断用户的情感，识别效果远好于单模态的识别效果，保证了双模态融合情感识别的有效性。双模态信息融合相对比单模态信息，更广泛的包含了语音当中的声音变化信息和语义信息，从而在模型训练和决策判断中可以更有利于交叉判断，得到最优的情感识别结果。