[发明专利]一种基于级联回归卷积神经网络的视频目标检测方法

说明书

本发明提供了一种基于级联回归卷积神经网络的视频目标检测方法，并包括如下步骤：一、输入视频图像序列，并将整个视频序列的所有图像帧通过卷积神经网络提取CNN特征；二、利用RPN网络对所述CNN特征的最后一层卷积特征进行分类以获得建议区域，通过多尺度的卷积特征对建议区域进行级联分类和回归，并得到每帧图像的静态图片检测结果；三、将步骤二中得到的检测结果中置信度大于0.6的结果作为跟踪初始值，在CNN特征的conv5‑3卷积特征上通过相关滤波对目标进行跟踪得到时序建议区域，并对时序建议区域进行级联分类和回归，得到时序检测结果；四、将静态图片检测结果和时序检测结果通过共生矩阵对检测结果中异常值进行抑制，从而得到最终检测结果。

技术领域

本发明属于图像信息技术处理领域，具体地涉及一种基于级联回归卷积神经网络的视频目标检测方法。

背景技术

目标识别是自动在图像中定位目标的方法，是计算机视觉领域的基础问题，在很多方面都有应用，例如监控、人机交互，和医疗辅助。早期的方法能够通过滑动窗口或者级联分类器有效地检测图像的单一类别的目标，例如人脸和行人，但无法检测多类的目标。

近年来，得益于卷积神经网络的发展，多类别目标检测技术得到了显著提升。其中基于区域的卷积神经网络由区域建议和区域分类组成，R-CNN将目标检测转化为分类问题，并且对Imagenet数据库上预训练的分类网络进行微调。

虽然对于目标检测已经有了很多研究工作，但是因为遮挡、形变、运动模糊、光照变化和复杂背景等因素的影响，视频中的目标检测更加具有挑战性。Faster R-CNN在卷积神经网络中引入了RPN网络，RPN网络与分类网络共享全图的卷积特征图谱，并且通过交替训练的方式进行训练，两者都是基于卷积特征的分类器。随着卷积神经网络分类性能的提升，Faster R-CNN准确率不断提高，但是将其应用于视频目标检测时面临着两大问题。首先，每一帧图像中RPN网络得到的区域(region)并不总是可靠的，因为视频中的目标急剧的外观变化会影响网络的召回率。其次，单独的区域分类无法融合视频中的时空信息和上下文信息，使得视频较为模糊的目标得分过低，影响检测的性能。

发明内容

本发明的目的在于针对现有技术的缺陷，提供一种基于级联回归卷积神经网络的视频目标检测方法。

本发明的技术方案如下：一种基于级联回归卷积神经网络的视频目标检测方法，包括如下步骤：一、输入视频图像序列，并将整个视频序列的所有图像帧通过卷积神经网络提取CNN特征；二、利用RPN网络对所述CNN特征的最后一层卷积特征进行分类以获得建议区域，通过多尺度的卷积特征对所述建议区域进行级联分类和回归，并得到每帧图像的静态图片检测结果；三、将步骤二中得到的检测结果中置信度大于0.6的结果作为跟踪初始值，在所述CNN特征的conv5-3卷积特征上通过相关滤波对目标进行跟踪得到时序建议区域，并对所述时序建议区域进行级联分类和回归，得到时序检测结果；四、将所述静态图片检测结果和所述时序检测结果通过共生矩阵对检测结果中异常值进行抑制，从而得到最终检测结果。

优选地，在步骤二中具体包括如下步骤：所述RPN网络将所述CNN特征的最后一层卷积特征变换成设定维度的向量，再通过全连接层对所述设定维度的向量对应的ancher区域进行分类和边界框的回归，判断输出ancher是否为object区域的分类结果和边界框的参数，并将得到的分类结果按置信度排序，选择置信度靠前的框作为建议区域；在级联分类和回归网络中对所述建议区域进行分类和对边界框的参数进行调整，根据所述建议区域的像素值选择不同层的卷积特征，并在此过程中得到每帧图像的静态图片检测结果。

优选地，在步骤二中，当所述建议区域在原图中大于56个相像素值时，选择所述CNN特征中的conv5-3卷积特征；当所述建议区域在原图中小于56个像素值时，选择所述CNN特征中的conv 4-3卷积特征。