[发明专利]一种基于多模态情感模型的情感识别方法和装置

权利要求书

1.一种基于多模态情感模型的情感识别方法，其特征在于，包括以下步骤：

建立基础维度预测模型；

标注基础维度预测模型并结合神经网络模型分别形成视频维度预测模型、音频维度预测模型和文本维度预测模型；

提取目标对象的表情姿态视频特征、音频特征和话语文本特征；

通过视频维度预测模型对表情姿态视频特征分析得到第一情感结果；

通过音频维度预测模型对音频特征分析得到第二情感结果；

通过文本维度预测模型对话语文本特征分析得到第三情感结果；

对所述第一情感结果、第二情感结果和第三情感结果进行信息融合，得到融合结果；

根据所述融合结果通过建立的融合结果和情感类型的映射关系，得到目标对象的情感类型。

2.根据权利要求1所述的一种基于多模态情感模型的情感识别方法，其特征在于，所述建立基础维度预测模型具体包括：

建立包含愉悦维、唤醒维和支配维的基础维度预测模型，每个维度的取值极限构成一个圆；

将每个维度按情感由弱到强进行分区，并对每个区代入相应的情感类别。

3.根据权利要求2所述的一种基于多模态情感模型的情感识别方法，其特征在于，所述标注基础维度预测模型并结合神经网络模型分别形成视频维度预测模型、音频维度预测模型和文本维度预测模型具体包括：

分别对视频信息和音频信息进行时间等长切片处理形成视频信息片段和音频信息片段；

对文本信息进行分词处理形成文本信息片段；

分别对切片后的视频信息片段和音频信息片段进行序列重构；

对文本信息片段进行词性标记；

分别根据序列重构后的视频信息片段、音频信息片段和标记后的文本信息片段对基础维度预测模型进行标注并结合不同的神经网络模型，进而形成视频维度预测模型、音频维度预测模型和文本维度预测模型。

4.根据权利要求3所述的一种基于多模态情感模型的情感识别方法，其特征在于，所述表情姿态视频特征包括表情特征和姿态特征，所述视频维度预测模型包括3D表情卷积神经网络和3D姿态卷积神经网络；所述视频维度预测模型对表情姿态视频特征分析得到第一情感结果具体包括：3D表情卷积神经网络分类识别表情特征得到表情情感矩阵；3D姿态卷积神经网络分类识别姿态特征得到姿态情感矩阵；将表情情感矩阵和姿态情感矩阵融合得到第一情感结果。

5.一种基于多模态情感模型的情感识别装置，其特征在于，包括：基础模型建立器，用于建立基础维度预测模型；

基础模型标注器，用于标注基础维度预测模型并结合神经网络模型分别形成视频维度预测模型、音频维度预测模型和文本维度预测模型；

特征提取器，用于提取目标对象的表情姿态视频特征、音频特征和话语文本特征；

第一情感分析子系统，用于利用视频维度预测模型对表情姿态视频特征分析得到第一情感结果；

第二情感分析子系统，用于利用音频维度预测模型对音频特征分析得到第二情感结果；

第三情感分析子系统，用于利用文本维度预测模型对话语文本特征分析得到第三情感结果；

情感结果融合系统，用于对三个情感结果进行信息融合得到融合结果；

情感输出器，用于根据融合结果通过映射关系得到并输出情感类型。

6.根据权利要求5所述的一种基于多模态情感模型的情感识别装置，其特征在于，还包括目标对象接收端，用于接收目标对象的信息；分割器，用于将目标对象分割为视频信息、音频信息和文本信息。

7.根据权利要求6所述的一种基于多模态情感模型的情感识别装置，其特征在于，所述特征提取器包括视频特征提取器、音频特征提取器和文本特征提取器。

8.根据权利要求7所述的一种基于多模态情感模型的情感识别装置，其特征在于，所述基础模型标注器包括视频模型标注器、音频模型标注器和文本模型标注器。