[发明专利]视频中的对象情绪识别方法、装置、电子设备及存储介质

说明书

本申请提供的视频中的对象情绪识别方法、装置、电子设备及存储介质，所述方法包括：从视频中获取目标对象的至少一帧面部图像，将面部图像输入预先训练好的情绪特征提取模型，从而得到与面部图像对应的包含多维情绪特征值的情绪向量，根据至少一帧面部图像对应的情绪向量确定目标对象情绪的情绪。本方案对目标对象的面部图像从多个维度进行特征提取，从而得到多维的情绪向量，采用多维的情绪向量确定出的情绪可以更细致的表示目标对象的情绪，使得解读出的情绪更加准确和细致。

技术领域

本申请涉及情绪识别领域，具体涉及一种视频中的对象情绪识别方法、装置、电子设备及存储介质。

背景技术

影视作品通常通过镜头语言讲故事，人物情绪是故事重要的叙事内容。通过对视频中的人物情绪进行识别，可以对人物的情绪表达能力进行分析，进而有助于了解人物的表演技术。

目前在识别人物情绪时，通常是利用人脸识别技术识别视频图像中人物的表情，基于表情确定人物的情绪，此种方式只能对“笑”、“哭”、“高兴”、“生气”、“难过”等几种简单的情绪进行识别，并不足以充分表现人物的情感特征，细致性低。

发明内容

为了解决现有技术中人物情绪识别细致性低的技术问题，本申请提供了一种视频中的对象情绪识别方法、装置、电子设备及存储介质。

第一方面，本申请提供了一种视频中的对象情绪识别方法，包括：

从视频中获取目标对象的至少一帧面部图像；

将所述面部图像输入预先训练好的情绪特征提取模型，以使所述情绪特征提取模型提取所述面部图像多个维度的情绪特征值；

根据所述面部图像多个维度的情绪特征值，生成所述面部图像的情绪向量；

根据至少一帧所述面部图像的情绪向量确定所述目标对象的情绪。

作为一种可能的实现方式，所述根据至少一帧所述面部图像的情绪向量确定所述目标对象的情绪，包括：

从至少一帧所述面部图像的情绪向量中确定目标情绪向量；

将所述目标情绪向量输入预设的情绪解读模型，得到与所述目标情绪向量对应的用于表示所述目标对象情绪的情绪解读信息，所述情绪解读模型中包括多个情绪向量对应的多个情绪解读信息。

作为一种可能的实现方式，所述从至少一帧所述面部图像的情绪向量中确定目标情绪向量，包括：

若从所述视频中获取到了目标对象的一帧面部图像，则确定该面部图像的情绪向量为目标情绪向量；

若从所述视频中获取到了目标对象的多帧面部图像，则按照多帧所述面部图像的播放时刻由先到后的顺序，生成关于情绪向量的时间序列，所述时间序列中包括多帧所述面部图像的情绪向量；

将所述时间序列对应的时间区间划分为多个候选时间区间；

针对每个所述候选时间区间，确定所述候选时间区间包含的各情绪向量的密度；

从多个所述候选时间区间中，选取包含的各情绪向量的密度符合预设要求的候选时间区间作为目标时间区间；

确定所述目标时间区间内密度最高的情绪向量为目标情绪向量。

作为一种可能的实现方式，所述确定所述候选时间区间包含的各情绪向量的密度，包括：

计算所述候选时间区间包含的各情绪向量之间的编辑距离；

针对所述候选时间区间内的每一情绪向量，将所述候选时间区间内与所述情绪向量之间的编辑距离小于预设距离阈值的其它情绪向量，作为所述情绪向量的相似向量；