[发明专利]一种基于CNN和LSTM的暴恐视频检测方法

摘要

本发明公开了一种基于CNN和LSTM的暴恐视频检测方法，属于模式识别、视频检测、深度学习技术领域。所述检测方法首先对待检测视频进行关键帧采样，并提取关键帧特征；然后进行视频层面的表达与判别，包括CNN语义模块的VLAD特征表达与SVM判别、CNN场景模块的场景VLAD特征表达与SVM判别，以及LSTM时序模块的LSTM判别；最后进行结果融合。本发明利用了CNN在图像特征提取和LSTM在时序序列表达方面的优势，并充分考虑暴恐视频在场景方面的特色，实际测试中检测指标mAP值达到98.0％，接近人工作业水准。在运行速度方面，仅采用单机GPU加速的方式，每秒钟便可以处理76.4秒的网络视频，适于阻断暴恐视频在大型视频网站上的传播，有利于维护社会稳定和国家长治久安。

主权项

1.一种基于CNN和LSTM的暴恐视频检测方法，其特征在于：具体包括如下步骤：第一步，对待检测视频进行关键帧采样，并提取关键帧特征；第二步，利用提取到的关键帧特征，进行视频层面的表达与判别；包括CNN语义模块的VLAD特征表达与SVM判别、CNN场景模块的场景VLAD特征表达与SVM判别，以及LSTM时序模块的LSTM判别；所述的CNN语义模块的语义VLAD特征表达与SVM判别，输入特征为三种CNN语义特征SPP，FC6，FC7；首先采用主成分分析的方法，分别将三种特征降至128维、256维和256维；随后，应用VLAD方法，对降维后的D维特征向量，向预先通过K‑均值聚类得到的聚类中心集合C＝{c1,c2,...,cK}进行差分累积投影；令V＝{v1,v2,...,vN}表示一个包含N个已降维特征向量的集合，则与聚类中心ck相关的差分累积向量diffk表示为：其中，i＝1,2…,N；k＝1,2,…,K；NN(vi)表示已降维特征向量vi在聚类中心集合C中的欧氏距离的最近邻；对每个差分累积向量diffj分别进行l2范数归一化，1≤j≤K，再将K个差分累积向量级联，便得到了最终的K×D维VLAD特征表达；此处聚类中心数目K被设定为256，则SPP，FC6，FC7对应VLAD特征表达后的维度分别为32,768维，65,536维和65,536维；最后，训练线性SVM分类器完成视频涉恐置信度的判定；第三步，结果融合：采用基于校验集mAP值的层次融合策略，即对于一个待识别视频，分别计算CNN语义模块、CNN场景模块和LSTM时序模块的判决得分，再以各模块在校验集上的mAP值作为权重进行加权融合。