[发明专利]一种基于多模态情感模型的情感识别方法和装置

说明书

本发明公开了一种基于多模态情感模型的情感识别方法和装置，建立基础维度预测模型，并由基础维度预测模型得到视频维度预测模型、音频维度预测模型和文本维度预测模型，分别分析表情姿态视频特征、音频特征、话语文本特征得到第一情感结果、第二情感结果和第三情感结果；将三个结果融合并结合基于基础维度预测模型的映射关系得到目标对象的情感类别；其从多模态和多角度进行情感识别，具有信息全面、抗干扰性强以及高准确度的优点。

技术领域

本发明涉及计算机处理领域，特别是一种基于多模态情感模型的情感识别方法和装置。

背景技术

情感是人们在日常生活中表现出来的一种心理现象。而对于智能机器,如果能够实现快速准确地判断人的情感状态,就可以进一步理解用户的情感,从而实现与用户的自然、友好、和谐的交互。人的情感是通过多种模态表现出来的，诸如表情、姿态、声音和话语等；可以基于这些模态进行情感判断，但是单模态具有信息不全面、反馈不及时以及易受干扰等诸多缺点。

发明内容

为解决上述问题，本发明实施例的目的在于提供一种基于多模态情感模型的情感识别方法和装置，进行多模态的情感识别，有效提高情感识别性能。

本发明解决其问题所采用的技术方案是：

本发明的第一方面一种基于多模态情感模型的情感识别方法，其特征在于，包括以下步骤：建立基础维度预测模型；标注基础维度预测模型并结合神经网络模型分别形成视频维度预测模型、音频维度预测模型和文本维度预测模型；提取目标对象的表情姿态视频特征、音频特征和话语文本特征；通过视频维度预测模型对表情姿态视频特征分析得到第一情感结果；通过音频维度预测模型对音频特征分析得到第二情感结果；通过文本维度预测模型对话语文本特征分析得到第三情感结果；对所述第一情感结果、第二情感结果和第三情感结果进行信息融合，得到融合结果；根据所述融合结果通过建立的融合结果和情感类型的映射关系，得到目标对象的情感类型。

进一步，所述建立基础维度预测模型具体包括：建立包含愉悦维、唤醒维和支配维的基础维度预测模型，每个维度的取值极限构成一个圆；将每个维度按情感由弱到强进行分区，并对每个区代入不同的情感类别。

进一步，所述标注基础维度预测模型分别形成视频维度预测模型、音频维度预测模型和文本维度预测模型具体包括：分别对视频信息和音频信息进行时间等长切片处理形成视频信息片段和音频信息片段；对文本信息进行分词处理形成文本信息片段；分别对切片后的视频信息片段和音频信息片段进行序列重构；对文本信息片段进行词性标记；分别根据序列重构后的视频信息片段、音频信息片段和标记后的文本信息片段对基础维度预测模型进行标注并结合相应的神经网络模型，进而形成视频维度预测模型、音频维度预测模型和文本维度预测模型。

进一步，所述表情姿态视频特征包括表情特征和姿态特征，所述视频维度预测模型包括3D表情卷积神经网络和3D姿态卷积神经网络；所述视频维度预测模型对表情姿态视频特征分析得到第一情感结果具体包括：3D表情卷积神经网络分类识别表情特征得到表情情感矩阵；3D姿态卷积神经网络分类识别姿态特征得到姿态情感矩阵；将表情情感矩阵和姿态情感矩阵融合得到第一情感结果。

本发明的第二方面，一种基于多模态情感模型的情感识别装置，包括：基础模型建立器，用于建立基础维度预测模型；基础模型标注器，用于标注基础维度预测模型并结合神经网络模型分别形成视频维度预测模型、音频维度预测模型和文本维度预测模型；特征提取器，用于提取目标对象的表情姿态视频特征、音频特征和话语文本特征；第一情感分析子系统，用于根据表情姿态视频特征分析得到第一情感结果；第二情感分析子系统，用于根据音频特征分析得到第二情感结果；第三情感分析子系统，用于根据话语文本特征分析得到第三情感结果；情感结果融合系统，用于对三个情感结果进行信息融合得到融合结果；情感输出器，用于根据融合结果通过映射关系得到并输出情感类型。