[发明专利]一种基于情感显著性特征融合的视频情感识别方法

摘要

本发明公开了一种基于情感显著性特征融合的视频情感识别方法，获得训练视频集合并对其中的视频提取视频镜头，对每个视频镜头选取情感关键帧；对训练视频集合中每个视频镜头提取音频特征和视觉情感特征，音频特征基于词包模型构成情感分布直方图特征；视觉情感特征基于视觉词典构成情感注意力特征，情感注意力特征与情感分布直方图特征进行自上而下的融合，构成具有情感显著性的视频特征；将训练视频集合中形成的具有情感显著性的视频特征送入SVM分类器进行训练，得到训练模型的参数，训练模型用于对测试视频的情感类别进行预测。本发明的融合算法实现简单，训练器成熟可靠，预测快捷，可以更高效的完成视频的情感识别过程。

主权项

一种基于情感显著性特征融合的视频情感识别方法，其特征是，包括以下步骤：获得训练视频集合并对其中的视频提取视频镜头，对每个视频镜头选取情感关键帧；对训练视频集合中每个视频镜头提取音频特征和视觉情感特征，其中视觉情感特征基于所提取的情感关键帧提取，音频特征基于视频镜头提取；音频特征基于词包模型构成情感分布直方图特征；视觉情感特征基于视觉词典构成情感注意力特征，情感注意力特征与情感分布直方图特征进行自上而下的加权融合，构成具有情感显著性的视频特征；将训练视频集合中形成的具有情感显著性的视频特征送入SVM分类器进行训练，得到训练模型的参数，训练模型用于对测试视频的情感类别进行预测；情感注意力特征的构成方式为：将每个视频的视觉情感特征同样进行k近邻聚类，得到N个聚类中心，并由此N个聚类中心作为视觉单词组成视觉情感词典；将视频的视觉情感特征投影到视觉情感词典，按视频情感类别分别得到每个类别对应的视觉情感单词的后验概率分布，即得到各情感类别的情感注意力特征；视觉情感单词的后验概率分布计算如下：$p\left(class\right|w_j^{vis})\mathrm{\∞}p\left(w_j^{vis}\right|class)p\left(class\right)$其中，为视觉情感单词的后验概率分布，class为视频情感类别，为视觉词典的第j个视觉情感单词；p(class)为类别class的情感视频概率分布，通过统计该类别情感视频占总视频的比例得到；是类别为class的视觉情感词典的第j个视觉情感单词的分布，根据下式获得：$p\left(w_j^{vis}\right|class)\mathrm{\∞}\underset{{\mathrm{Scene}}^{class}}{\Σ}\underset{l\∈D}{\Σ}\mathrm{\δ}(w_l^{vis},w_j^{vis})$其中，Scene^class是类别为class的视频场景数，D是类别为class的视频情感词典所含单词数，是类别为class的场景所包含的第l个视觉单词，δ为符号函数，其定义为：x,y为符号函数δ的输入变量。