[发明专利]一种基于核超限学习机的多模融合视频情感识别方法

权利要求书

1.一种基于核超限学习机的多模融合视频情感识别方法，其特征在于：

该方法在利用视频的图像信息和音频信息的基础上，加入观看视频的受试者的脑电信号进行多模融合分析，使用于情感识别的信息更全面，更利用了核超限学习机学习速度快、识别率高的特性，使视频情感识别的分类正确率更高；

实现本方法的主要步骤如下：对视频的图像信息和音频信息进行特征提取、特征选择，从而获得视频特征；将采集的多通道脑电信号进行预处理、特征提取、特征选择，从而获得脑电特征；建立基于核超限学习机的多模融合视频情感识别模型；将视频特征和脑电特征输入到基于核超限学习机的多模融合视频情感识别模型中进行视频情感识别，得出最终的分类正确率；

其详细步骤如下：

(1)建立视频数据库

从电影、纪录片、电视节目中截取90个视频片段，每个视频片段持续时间是6s；每个视频仅包含一类情感，每类情感对应30个视频片段，即共有三类不同的视频情感；

(2)获得视频特征向量

视频库中的每一个视频为一个样本；对一个样本中包含的音频信息，提取常用的25维音频特征；对一个样本中包含的图像信息，提取图像的颜色特征和塔式关键词直方图特征，从而获得原始图像特征；再用双输入对称相关性方法对原始图像特征进行特征选择，得到25维图像特征；最后将音频特征和图像特征按样本量不变、维度增加的方法形成视频特征向量；

(3)采集脑电信号

在屏幕上随机地播放视频库中的视频；受试者佩戴电极帽，并观看屏幕上的视频；采集受试者的脑电信号；

(4)获得脑电特征

将采集到的脑电信号进行预处理，即降采样和带通滤波器去伪迹，再用小波包分解法对预处理后的脑电信号进行特征提取，得到原始脑电特征；再用决策树算法对原始脑电特征进行特征选择，得到脑电特征向量；

(5)建立基于核超限学习机的多模融合视频情感识别模型

建立基于核超限学习机的多模融合视频情感识别模型；

(6)获得分类正确率

将步骤(1)中得到的视频特征和步骤(2)中得到的脑电特征，输入到步骤(3)所建立的视频情感模型中，利用十折交叉验证法，得到最终的分类正确率。

2.根据权利要求1所述的一种基于核超限学习机的多模融合视频情感识别方法，其特征在于：

本方法的流程包括以下步骤：

步骤1，建立视频数据库；

从各类电影、纪录片、电视节目中截取N个视频片段，每个视频片段持续时间是t秒；每个视频仅包含一类情感，每类情感对应N/3个视频片段，即共有三类不同的视频情感；

步骤2，获得视频特征向量；

视频库中的每一个视频为一个样本；对一个样本中包含的音频信息，提取常用的25维音频特征，如表1所示；对一个视频样本，用基于颜色直方图的层次聚类的方法，每秒视频提取3个关键帧，共提取3*t帧图像；对于一个视频帧，在HSV空间，H设置成2⁴，S设置成2²，V设置成2²，提取到256维颜色特征；对于一个视频帧，提取塔式关键词直方图(PHOW)特征，虚词个数为W，层数为Q，从而获得W*2^2(Q-1)维PHOW特征，最终获得(256+W*2²(Q-¹⁾)维的原始图像特征；再用双输入对称相关性方法(DISR)对原始图像特征进行特征选择，得到25维图像特征；将音频特征和图像特征按样本量不变、维度增加的方法形成一个视频的视频特征；对于N个视频，可获得NX50视频特征向量；

表125维音频特征

步骤3，采集脑电信号；

数据采自于P名健康的受试者，其中M名男性、(P-M)名女性，年龄均在24至28岁；受试者的实验任务是观看屏幕上播放的视频片段；从三类视频片段中，每类随机选N/9个片段；总共N/3个视频片段供一个受试者观看；受试者脑电信号将被E个电极10-20系统纪录，采样率为1000Hz；

步骤4，获得脑电特征向量；

将采集到的脑电信号降采样到500Hz，再从脑电信号中去掉眼电信号，最后用8-30Hz的带通滤波器去掉伪迹；设置时间窗为1s；由于一个视频片段的持续时间是t秒，故对一个受试者观看一个视频片段所采集到的一个电极的脑电信号，可分为t段；对个人受试者的一个电极的一段脑电信号，用小波包变换进行特征提取，分解层数分为J，小波基为db6，获得2^J维脑电特征；一个视频片段对应的一个受试者的E个电极的t段脑电信号，得到E*2^J*t维脑电特征；一个视频片段对应的P个受试者的E个电极的t段脑电信号，得到P*E*2^J*t维脑电特征；对P*E*2^J*t维小波包提取后的脑电特征进行决策树算法特征选择，得到Z维脑电特征；对N个视频片段，共可获得NXZ脑电特征向量；

步骤5，建立基于核超限学习机的多模融合视频情感识别模型；

建立基于核超限学习机的多模融合视频情感识别模型；

整个模型包括三个子系统：脑电特征处理子系统、视频特征处理子系统及融合特征处理子系统；脑电特征处理子系统主体是核超限学习机1，输入脑电特征向量，输出对于脑电特征向量的响应值向量；视频特征处理子系统主体是核超限学习机2，输入视频特征向量，输出对于视频特征向量的响应值向量；融合特征处理子系统主体是核超限学习机3，将脑电特征向量的响应值向量与视频特征向量的响应值向量合并成融拼接成待输入的融合特征向量，输出对于融合特征向量的响应值向量；E_i表示对应于一个视频片段的脑电特征向量，E_i的维度为Z；V_i为一个视频片段所对应的视频特征向量，其维度为50；T表示核超限学习机的实际输出；若实际输出T_E＝[t_E1…t_Ec],且实际输出T_E＝[t_D1…t_Dc]，则决策特征D_i＝[T_ET_D]；模型会输出最终决策结果，即判别输入进去的特征为哪一类视频的特征；

步骤6，获得分类正确率；

将步骤1中得到的视频特征和步骤2中得到的脑电特征，输入到步骤3所建立的视频情感模型中，利用十折交叉验证法，即：将得到的视频或者脑电特征向量按照样本量分成十份，轮流使其中的一份用于测试，其余的九份用于训练，通过十折交叉验证法得到十次的分类正确率，将这十次的分类正确率求平均值，得到最终的分类正确率。