[发明专利]一种基于目标检测的视频摘要生成方法

说明书

本发明提出一种基于目标检测的视频摘要生成方法，属于图像处理技术领域。该方法在训练阶段获取包含2种以上的目标物体的图片集作为训练数据集并进行标注，建立深度学习网络并利用训练数据集对网络进行训练，得到训练完毕的深度学习网络。在使用阶段，获取一段视频，将视频进行分帧并将视频帧输入训练完毕的网络，网络输出每一帧视频帧所包含目标物体的特征向量、目标物体对应的位置向量和包含该目标物体视频帧原图。通过对所有特征向量进行聚类，最终得到视频摘要的结果。本发明能够准确没有遗漏地选出最能代表视频内容的目标，使人们对视频内容的理解更加清晰和直观，不再局限于场景和视频大小与格式的限制。

技术领域

本发明属于图像处理技术领域，特别涉及一种基于目标检测的视频摘要生成方法。

背景技术

近年来，随着互联网时代各类视频的传播而引起的信息爆炸，人们面对着越来越多的视频信息。有些视频当中场景与内容变化复杂，人们是很难快速地分析出主要内容；有些视频时长过长，比如监控视频，人们需要大量的人力实时监控。视频摘要技术能够自动地去发现和概括视频主题，从而帮助人们快速地了解视频的主要内容，变得越来越重要。然而，如何能够在短时间内将视频的主要内容提取出来从而节省人们时间，提高效率是当前研究的主要困难。

目前的视频摘要的方法主要分为基于片段级、关键帧级、分割级的视频摘要方法。片段级视频摘要方法是截取视频中的一小段或者几小段内容作为视频摘要的结果：该方法首先根据混合高斯模型对本地的视频流进行处理，获得视频的背景信息；接着将视频与背景信息做减法得到运动的目标；接着通过分层关联的方式将运动的目标进行跟踪选取得到运动目标的完整信息；最终将运动目标与背景信息重新组装成片段级的视频摘要。这种方法的缺点是所得到的视频摘要不够简洁，遇到较长的视频仍然耗时。关键帧级视频摘要方法是将视频中重要的几张关键图片作为最后的结果：该方法首先将视频中的图像进行二进制处理，接着通过支持向量机分析图像数据并利用图像中的颜色域梯度信息，提取原始视频中的关键帧。这种方法的缺点是摘要得到的整张图片不易于理解，无法快速捕捉到关键信息。而分割级视频摘要是在关键帧级的基础上，通过纹理等信息选出关键帧中重要的区域，但是这种方法的缺点是无法得到准确的视频摘要信息，得到的结果往往无法反映出真实的视频摘要内容。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种基于目标检测的视频摘要生成方法。本发明能够准确没有遗漏地选出最能代表视频内容的目标，使人们对视频内容的理解更加清晰和直观，不再局限于场景和视频大小与格式的限制。

本发明提出一种基于目标检测的视频摘要生成方法，其特征在于，该方法包括以下步骤：

(1)训练阶段：

(1-1)获取训练数据集并进行标注：

使用包含2种以上的目标物体的图片数据集作为训练数据集，对训练数据集每张图片中的所包含的目标物体进行人工标注，该标注过程是对每张图片中包含的每个目标物体分别画出一个检测框，检测框的大小为能包含该目标物体的最小长方形框；

(1-2)构建深度学习网络；

构建一个深度学习网络，该深度学习网络由五层卷积层和三层池化层组成；网络的输入为一个批次的图片，每个批次的图片数量为128张；网络的输出为每张图片中的每个目标物体分别对应的一个4096维向量代表该目标物体和一个4维向量代表该目标物体在图片中的坐标；

(1-3)利用经过步骤(1-1)标注后的训练数据集对步骤(1-2)建立的深度学习网络进行训练，得到训练完毕的深度学习网络；具体步骤如下：

(1-3-1)从经过步骤(1-1)标注后的训练数据集中随机选取一个批次的图片输入到步骤(1-2)建立的深度学习网络中，得到输入的每张图片对应的特征图作为深度学习网络第一阶段的输出：