[发明专利]一种基于3D卷积神经网络的视频显著性检测方法

说明书

本发明涉及一种对于视频图像的显著性检测方法，其特征在于：首先利用2D卷积建立一个2D深度卷积神经网络，输入一帧视频帧获得运动目标语义特征，然后利用3D卷积建立一个3D深度卷积神经网络，输入连续三帧视频帧得到时空显著性特征，再将运动目标语义特征和时空显著性信息连接后，输入到3D反卷积网络中，以学习和混合时空显著性特征，最终通过3D反卷积网络得到显著图。这样我们就得到整副图像的显著图，显著值越大，就表明该像素越显著，也就是越吸引人眼关注。实验结果表明我们建立的视频图像显著性检测模型有优良的检测性能。

技术领域

本发明涉及一种基于3D卷积神经网络的视频显著性检测方法。属于多媒体技术领域，具体属于数字图像和数字视频处理技术领域。本发明可以应用于复杂背景下视频图像中的显著性检测。

背景技术

视觉显著性检测的研究是建立在生物驱动模型的基础上，研究的问题是人眼的关注点在什么位置，致力于寻找图像中的若干个人眼关注的点。另外，由于人类大脑能自动地将所见场景转化为显著图，提取出显著目标，摈弃非显著目标从而进行后续的信息处理，因此视频图像显著目标检测的任务是要检测出最受人注意的显著目标，它可以广泛地应用在图像分割、自适应压缩和图像检索等计算机视觉技术中。

传统显著性检测方法主要有三个步骤：预处理(Pre-Process)，特征提取(FeatureExtract)和特征融合(Feature Fusion)。由于场景图像有着截然不同的成像特性如分辨率低、大小不一、光照不均等，这些特性影响着特征提取、特征融合等各个过程。因此，在将场景条件下的视频图像输入到各个模块前，对图像进行必要的预处理，对定位和识别正确率的提高有一定的帮助。比如对场景文本图像进行颜色空间变换；在进行提取特征前，需要去噪来消除噪声对有效特征提取的影响；通过二值化处理后，能够有效提高识别结果的正确性。特征是某一类对象区别于其他类对象的相应(本质)特点或特性，或是这些特点和特性的集合，特征是通过测量或处理能够抽取的数据。对于传统显著性检测任务而言，常用的特征有HOG特征、LBP特征、Haar特征和SIFT特征等。特征融合就是将提取出的多特征图整合，最后得到一个最终显著图。

与静态图像的显著目标检测不同，视频的显著区域检测模型不仅要考虑视频帧内图像的空间显著性，而且要考虑视频帧间的时间显著性。传统的视频中显著区域检测是从静态图像的显著区域检测模型进行扩展，如Itti等人在经典Itti98的基础上增加了运动特征及帧间闪烁，从而将该模型的应用扩展到视频中的时空显著图的计算。但是在实际应用中，通过静态叠加方式混合时空特征的方法，难以满足不同的应用需求，很多研究也表明时空特征的静态混合效果并不理想。因为这些传统算法的局限性，许多性能更优的基于深度学习的视频显著性算法相继提出。

近来，随着深度学习的快速发展，越来越多的深度模型算法和系统被开发出来，这些计算机应用大大提高了人们日常生活质量和工作效率。在计算机视觉领域，卷积神经网络应用十分广泛，比如图像分类、目标检测、图像分割、图像检索等。比如经典的LeNet，FCN，VGG-Net，RCNN，fast-RCNN，SPP等。与传统显著性检测方法框架不同，深度卷积神经网络模型不需要手工选取特征，它能利用反向传播算法自适应地学习到与显著目标有关的特征，从而大大提高了系统的处理速度和处理能力，能够对视频帧进行实时处理和分析。

发明内容

为了解决现有方法对于视频图像中，手动提取帧与帧之间的运动信息以及显著性检测效果差的问题，本发明提出了一种基于3D深度卷积神经网络的自适应学习时空特征的显著性检测方法，它可以自动地从复杂背景下的视频图像中检测出显著区域，并且取得比较好高的准确率。

为了实现上述目的，本发明采用的技术方案为：