[发明专利]基于弱监督时空级联神经网络的显著目标检测方法及系统

说明书

本发明适用于视频和图像识别领域，提供了显著目标检测方法，时空级联神经网络包括第一全卷积网络和第二全卷积网络，方法包括：将待检测视频的当前帧图像输入第一全卷积网络得到空间先验图；根据当前帧图像及其光流图生成时间先验图；对空间先验图和时间先验图进行元素运算得到时空先验图；将时空先验图和下一帧图像输入第二全卷积网络得到时空显著图。本发明实施例在检测具有复杂场景的视频的显著目标时，集成视频帧图像的空间先验信息和基于光流的时间先验信息，达到消除静态的显著区域并生成动态场景中最终的时空显著图，使得在进行动态场景中能够获取更多更丰富的信息，提高准确率和鲁棒性。

技术领域

本发明属于视频和图像识别领域，尤其涉及一种基于弱监督时空级联神经网络的显著目标检测方法及其系统。

背景技术

显著目标检测旨在识别图像或视频中相对引人注意的目标或区域，在目标分割、目标识别、目标跟踪等领域有着广泛的应用，是计算机视觉研究的重点。静态图像的显著性目标检测只考虑空间信息，而动态视频的显著性目标检测同时考虑空间信息与时间信息，所以，静态图像的深度学习模型在动态视频场景中效果较差。

如何消除视频中相对复杂背景区域的干扰是显著性目标检测的关键问题。现有的显著性检测方法可以分为基于传统模型和基于深度学习两类。基于传统模型的方法通过手工标定的标签来估计视觉显著性，利用各种技术和理论来检测静态图像的显著目标，比如空间先验、低阶矩阵恢复、区域对比、图形建模、和信息理论。视频的显著目标检测需要集合空间和时间信息，有工作提出基于中心周围的假设，从颜色、方向、亮度的特征预测显著目标模型，在此基础上，有工作提出采用动态时空纹理的检测视频场景的显著性。后来，有工作提出一种自适应融合方法，通过运动特征和手工标定的超像素彩色特征集成像素的空间和时间显著图。目前，视频显著性检测主要利用运动注意信息、非参数核密度特征、运动边界、运动连续性等信息。也有其他的工作，致力于寻找融合空间显著图和时间显著图的模型，将模型输出结果作为视频显著性检测的结果。

基于深度学习的方法可以分为两阶段，一是用深度特征来代替显著性检测模型中手工标定的特征，二是在端到端的全卷积网络FCN(Fully Convolutional Network)中直接生成像素点的显著图。在第一阶段中，有工作提出输入基于超像素的图像块，提取其相应的深度特征用于显著性检测，另外，又有工作提出将深度特征扩展为多尺度的深度特征，利用多层次区域分解方法生成显著图。在第二阶段中，有工作提出一个由FCN组成的递归神经网络RNN(Recurrent Neural Network)，在全面的显著性预测效果很好。还有工作提出一个深度学习模型，该模型通过FCN成功融合空间和时间显著性激励，从而产生准确的时空显著性图。

上述显著性检测方法能够对动态视频进行显著性检测，但是在复杂场景下存在较差的准确性和鲁棒性。

发明内容

本发明所要解决的技术问题在于提供一种基于弱监督时空级联神经网络的显著目标检测方法及其系统，旨在解决现有的显著性检测方法在复杂场景下准确性和鲁棒性都较差的问题。

本发明是这样实现的，一种基于弱监督时空级联神经网络的显著目标检测方法，时空级联神经网络包括第一全卷积网络和第二全卷积网络，所述显著目标检测方法包括：

步骤A，将待检测视频的当前帧图像输入所述第一全卷积网络得到空间先验图；

步骤B，根据所述当前帧图像和所述当前帧图像对应的光流图生成时间先验图；

步骤C，对所述空间先验图和所述时间先验图进行元素运算，得到时空先验图；

步骤D，将所述时空先验图和所述当前帧图像的下一帧图像输入所述第二全卷积网络得到时空显著图。

本发明还提供了一种基于弱监督时空级联神经网络的显著目标检测系统，包括：

时空级联神经网络，包括第一全卷积网络和第二全卷积网络；