[发明专利]一种情绪识别方法、装置、电子设备及存储介质

权利要求书

1.一种情绪识别方法，其特征在于，包括：

获取待处理的目标视频文件，其中，所述目标视频文件中包括目标用户的图像以及语音；

从所述目标视频中提取多组图像集合以及语音片段；

分析所述图像集合得到所述目标用户的面部分析结果，以及分析所述语音片段获取所述目标用户的音频分析结果以及语义分析结果；

根据所述面部分析结果、所述语义分析结果以及所述音频分析结果确定所述目标用户的目标情绪类型。

2.根据权利要求1所述的方法，其特征在于，所述从所述目标视频中提取多组图像集合以及语音片段，包括：

按照预设时间间隔对所述目标视频文件进行分割，得到多个视频片段；

提取所述视频片段中的每帧图像，生成所述视频片段对应的图像集合；

检测所述视频片段中的语音信息，生成所述语音片段。

3.根据权利要求2所述的方法，其特征在于，所述分析所述图像集合得到所述目标用户的面部分析结果，包括：

提取所述图像集合中每帧图像的图像特征；

将所述图像集合中图像特征存在用户特征的图像确定为目标图像，其中，所述用户特征为所述目标用户的特征；

将所述目标图像输入第一检测模型，以使所述第一检测模型基于所述目标图像中提取所述目标用户的面部特征以及面部变化特征，并确定所述面部特征以及面部变化特征对应的至少一个第一情绪类型，将所述第一情绪类型确定为所述面部分析结果。

4.根据权利要求2所述的方法，其特征在于，所述分析所述语音片段获取所述目标用户的音频分析结果以及语义分析结果，包括：

从所述视频片段中提取所述目标用户的音频数据以及语义数据；

将所述音频数据输入第二检测模型，以使所述第二检测模型从所述音频数据中提取所述目标用户的音频特征以及音频变化特征，并确定所述音频特征以及音频变化特征对应的至少一个第二情绪类型，将所述第二情绪类型确定为所述音频分析结果；

将所述语义数据第三检测模型，以使所述第三检测模型从所述语义数据中提取所述目标用户的语义特征以及语义变化特征，并确定所述语义特征以及语义变化特征对应的至少一个第三情绪类型，将所述第三情绪类型确定为所述语义分析结果。

5.根据权利要求1所述的方法，其特征在于，所述根据所述面部分析结果、所述语义分析结果以及所述音频分析结果确定所述目标用户的目标情绪类型，包括：

确定所述面部分析结果、所述语义分析结果以及所述音频分析结果分别对应的预设权重；

按照所述预设权重计算所述面部分析结果、所述语义分析结果以及所述音频分析结果所携带情绪类型的置信度；

将所述置信度最大的情绪类型确定为目标情绪类型。

6.根据权利要求1所述的方法，其特征在于，在根据所述面部分析结果、所述语义分析结果以及所述音频分析结果确定所述目标用户的目标情绪类型之后，所述方法还包括：

检测所述目标用户在当前时刻的行为数据；

计算所述行为数据与所述目标情绪类型之间的匹配度；

在所述匹配度低于预设匹配度的情况下，生成提示信息。

7.根据权利要求6所述的方法，其特征在于，在所述匹配度低于预设匹配度的情况下，所述方法还包括：

获取与当前时刻相邻的至少两个历史时刻对所述目标用户进行分析，得到的历史情绪类型；

计算所述历史情绪类型与所述目标情绪类型之间的相似度；

在所述匹配度低于预设匹配度的情况下，生成提示信息，包括：

在所述匹配度低于预设匹配度，且所述相似度低于预设相似度的情况下，生成所述提示信息。