[发明专利]基于多视角多示例学习的恐怖视频场景识别方法

权利要求书

1.一种基于多视角多示例学习的恐怖视频识别方法，其包括：

步骤1、对训练视频集合中的视频提取视频镜头，并针对每个视频镜头选取情感代表帧和情感突变帧；

步骤2、对训练视频集合中每个视频镜头提取音频和视觉特征，其中视觉特征基于所提取的情感代表帧和情感突变帧提取；

步骤3、对于每一个视频提取其四个视角特征向量，构成训练视频集合的多视角特征集合，所述四个视角特征包括独立视角特征、中层上下文视角特征、低层上下文视角特征、情感特征分布视角特征；

步骤4、对所得到的训练视频集合对应的多视角特征集合和待识别视频的多视角特征向量进行稀疏重构，得到稀疏重构系数；

步骤5、根据所述稀疏重构系数计算待识别视频的多视角特征向量与训练视频集合中恐怖视频集合与非恐怖视频集合分别对应的多视频特征集合的重构误差，进而确定待识别视频是否为恐怖视频。

2.如权利要求1所述的恐怖视频识别方法，其特征在于，步骤1具体包括如下步骤：

步骤1.1、以镜头为单位计算每个视频帧的颜色情感强度值；

步骤1.2、计算每个镜头内视频帧颜色情感强度值的平均值和方差值；

步骤1.3、选择情感强度值最接近平均值的视频帧作为情感代表帧；

步骤1.4、选择情感强度方差值最大的视频帧作为情感突变帧。

3.如权利要求2所述的恐怖视频识别方法，其特征在于，所述视频帧的颜色情感强度值如下计算：

EIi=1K×LΣm=1KΣn=1LEI(m,n)]]>

其中，EI_i表示第i个视频帧的颜色情感强度值，EI(m，n)为第i个视频帧中第m行n列像素点的颜色情感强度值，计算如下：

EI(m,n)=Activity2+Weight2+Heat2]]>

其中，Activity表示活动性，Weight表示重要性，Heat表示热度。

4.如权利要求1-3任一项所述的恐怖视频识别方法，其特征在于，步骤2中视频特征基于表示镜头的情感代表帧和情感突变帧提取。

5.如权利要求1-3任一项所述的恐怖视频识别方法，其特征在于，步骤3中每个视频的独立视角特征为每个视频的音频特征和视觉特征构成的特征集合。