[发明专利]一种基于核超限学习机的多模融合视频情感识别方法

说明书

本发明涉及一种基于核超限学习机的多模融合视频情感识别方法，对视频的图像信息和音频信息进行特征提取、特征选择，从而获得视频特征；将采集的多通道脑电信号进行预处理、特征提取、特征选择，从而获得脑电特征；建立基于核超限学习机的多模融合视频情感识别模型；将视频特征和脑电特征输入到基于核超限学习机的多模融合视频情感识别模型中进行视频情感识别，得出最终的分类正确率。本发明利用基于核超限学习机的多模融合视频情感识别模型，操作简单，识别速度快，对于三类视频情感数据分类正确率高。利用视频和脑电这两种模态的数据，使得描述视频内容更完整，比起利用单模进行视频情感识别，本发明方法的分类正确率更高。

技术领域

本发明涉及模式识别方法，特别是涉及视频情感识别方法。

背景技术

随着多媒体技术的高速发展，各种各样的数字视频在短期内大量涌现。然而，有些视频的内容并不适合未成年人观看，例如带有暴力和色情内容的视频。为了未成年人的健康成长，建立一个良好的网络环境是非常必要的。准确识别不同视频的情感内容是建立一个良好的网络环境的基础。如何准确识别不同视频的情感内容对很多研究者来说是个重要且具有挑战性的话题。

比起单模态，多模态能更全面地描述视频内容，进而能更准确地识别视频包含的情感。因此，用多模融合的方法进行视频情感识别如今已经越来越流行。在目前多模融合方法中，面部表情、语音、视频、文本及生物信号是较普遍被使用到的模态。在先前的研究中，各种各样的分类器被采用，例如支持向量机、神经网络、隐马尔可夫模型等等。

传统的视频情感识别方法一般是提取视频本身的图像信息和音频信息来进行视频情感的识别。该方法有两点不足：(1)单依靠视频的信息对视频的情感内容进行判断，而没有考虑到人看了视频之后的感受，容易造成信息偏失；(2)仅依靠视频本身的信息进行视频情感识别，识别准确率较低。

发明内容

针对上述传统的视频情感识别方法的不足，本发明提出一种基于核超限学习机的多模融合视频情感识别方法。该方法在利用视频的图像信息和音频信息的基础上，加入观看视频的受试者的脑电信号进行多模融合分析，使用于情感识别的信息更全面，更利用了核超限学习机学习速度快、识别率高的特性，使视频情感识别的分类正确率更高。

实现本发明方法的主要思路是：对视频的图像信息和音频信息进行特征提取、特征选择，从而获得视频特征；将采集的多通道脑电信号进行预处理、特征提取、特征选择，从而获得脑电特征；建立基于核超限学习机的多模融合视频情感识别模型；将视频特征和脑电特征输入到基于核超限学习机(Kernel-based ELM)的多模融合视频情感识别模型中进行视频情感识别，得出最终的分类正确率。

一种基于核超限学习机的多模融合视频情感识别方法，包括如下步骤：

(1)建立视频数据库

从电影、纪录片、电视节目中截取90个视频片段，每个视频片段持续时间是6s。每个视频仅包含一类情感，每类情感对应30个视频片段，即共有三类不同的视频情感。

(2)获得视频特征向量

视频库中的每一个视频为一个样本。对一个样本中包含的音频信息，提取常用的25维音频特征。对一个样本中包含的图像信息，提取图像的颜色特征和塔式关键词直方图特征，从而获得原始图像特征。再用双输入对称相关性方法对原始图像特征进行特征选择，得到25维图像特征。最后将音频特征和图像特征按样本量不变、维度增加的方法形成视频特征向量。

(3)采集脑电信号

在屏幕上随机地播放视频库中的视频。受试者佩戴电极帽，并观看屏幕上的视频。采集受试者的脑电信号。

(4)获得脑电特征