[发明专利]一种基于核超限学习机的多模融合视频情感识别方法

摘要

本发明涉及一种基于核超限学习机的多模融合视频情感识别方法，对视频的图像信息和音频信息进行特征提取、特征选择，从而获得视频特征；将采集的多通道脑电信号进行预处理、特征提取、特征选择，从而获得脑电特征；建立基于核超限学习机的多模融合视频情感识别模型；将视频特征和脑电特征输入到基于核超限学习机的多模融合视频情感识别模型中进行视频情感识别，得出最终的分类正确率。本发明利用基于核超限学习机的多模融合视频情感识别模型，操作简单，识别速度快，对于三类视频情感数据分类正确率高。利用视频和脑电这两种模态的数据，使得描述视频内容更完整，比起利用单模进行视频情感识别，本发明方法的分类正确率更高。

主权项

1.一种基于核超限学习机的多模融合视频情感识别方法，其特征在于：该方法在利用视频的图像信息和音频信息的基础上，加入观看视频的受试者的脑电信号进行多模融合分析，使用于情感识别的信息更全面，更利用了核超限学习机学习速度快、识别率高的特性，使视频情感识别的分类正确率更高；实现本方法的主要步骤如下：对视频的图像信息和音频信息进行特征提取、特征选择，从而获得视频特征；将采集的多通道脑电信号进行预处理、特征提取、特征选择，从而获得脑电特征；建立基于核超限学习机的多模融合视频情感识别模型；将视频特征和脑电特征输入到基于核超限学习机的多模融合视频情感识别模型中进行视频情感识别，得出最终的分类正确率；其详细步骤如下：(1)建立视频数据库从电影、纪录片、电视节目中截取90个视频片段，每个视频片段持续时间是6s；每个视频仅包含一类情感，每类情感对应30个视频片段，即共有三类不同的视频情感；(2)获得视频特征向量视频库中的每一个视频为一个样本；对一个样本中包含的音频信息，提取常用的25维音频特征；对一个样本中包含的图像信息，提取图像的颜色特征和塔式关键词直方图特征，从而获得原始图像特征；再用双输入对称相关性方法对原始图像特征进行特征选择，得到25维图像特征；最后将音频特征和图像特征按样本量不变、维度增加的方法形成视频特征向量；(3)采集脑电信号在屏幕上随机地播放视频库中的视频；受试者佩戴电极帽，并观看屏幕上的视频；采集受试者的脑电信号；(4)获得脑电特征将采集到的脑电信号进行预处理，即降采样和带通滤波器去伪迹，再用小波包分解法对预处理后的脑电信号进行特征提取，得到原始脑电特征；再用决策树算法对原始脑电特征进行特征选择，得到脑电特征向量；(5)建立基于核超限学习机的多模融合视频情感识别模型建立基于核超限学习机的多模融合视频情感识别模型；(6)获得分类正确率将步骤(1)中得到的视频特征和步骤(2)中得到的脑电特征，输入到步骤(3)所建立的视频情感模型中，利用十折交叉验证法，得到最终的分类正确率。