[发明专利]一种前景目标关键帧化的视频摘要生成方法

权利要求书

1.一种前景目标关键帧化的视频摘要生成方法，其特征在于，它包括如下步骤：

S101，构建待检测前景目标的目标视频的训练数据集，并对SSD网络模型进行训练，直至得到最优的SSD网络模型参数；

包括利用数据集对SSD网络模型进行训练，并根据中间训练结果对网络参数进行调整，直至网络训练收敛完成训练，并验证识别效果得到SSD网络模型；

S102，载入待摘要的目标视频，并逐帧将视频帧序列中的图像缩放至同一分辨率，得到待监测的原始图像以进行前景目标的提取；

S103，对图像进行前景目标检测；

包括利用S101步骤训练好的SSD网络模型提取所载入目标视频的特征并进行匹配，保留置信度较高的匹配结果，作为前景目标检测的结果，并将检测结果还原至原始图像中，得到前景目标对应的检测图像区域Rect_Detect；

S104，为得到的前景目标分配单目标跟踪器，进行目标跟踪；

包括对从S103步骤获取到的前景目标图像区域，基于相关滤波构建目标跟踪器，具体步骤如下：

第一步，以S103步骤获取到的前景目标图像区域作为跟踪初始区域，首先计算该前景目标区域的HOG特征；

第二步，针对第一步中的前景目标图像区域，对该前景目标区域像素值进行循环移位，构建分块循环矩阵及高斯回归标签，并通过岭回归训练回归模型对该前景目标区域进行多尺度采样，训练尺度滤波器；

在新的图像输入时，将该新的图像与回归模型根据核函数进行运算，确定目标中心位置，并以中心位置对目标进行多尺度采样，提取特征，经尺度滤波器卷积得到目标最优尺度；以尺度及中心位置还原在原始图像中还原跟踪结果，得到目标跟踪图像区域Rect_Track；

在新的图像中，同样执行S103步骤，得到图像的前景目标对应的目标检测图像区域；

对比前景目标跟踪图像区域与前景目标检测图像区域，以位置相似度作为优化策略对各独立目标区域进行区域优化；

优化策略如下，计算检测区域与跟踪区域的覆盖率Overlop，

设定覆盖阈值T，当覆盖率超过覆盖阈值即认为检测区域与跟踪区域所确定目标为同一目标，并以检测图像区域更新覆盖掉跟踪图像区域；否则保持跟踪图像区域继续进行下一步跟踪；

并根据目标提取结果进行轨迹存储，对每个根据检测及跟踪所得目标，根据其图像区域位置存储不同视频帧中的图像，对于判定为新出现在视频帧的目标，为该目标新分配一个ID，对于已经出现在视频帧中的目标，根据匹配ID存储新的位置；

S105，根据提取到的前景目标更新背景模型；

包括对于图像序列每帧的前景目标检测结果，根据图像位置绘制仅有前景目标检测的二值化图像作为mask图像，并基于权重更新背景，更新公式如下：

Dst(i,j)←alpha*Src(i,j)+(1-alpha)Dst(i,j)if mask(i,j)≠0

最终得到的最后一帧更新后的背景图像，即为全局背景图像；

S106，在视频中的目标提取全部完毕后，对视频目标进行关键帧提取；

关键帧提取的具体包括如下：

第一步，对前景目标的图像区域序列，进行通道分离，得到RGB三通道分量；

第二步，将目标图像分割为5*5的25个小图像，对每一个图像设定权值，根据矩阵权值加权计算各通道计算颜色直方图；

第三步，对每个图像序列，取第一帧作为模型帧，将之后的帧作为对比帧与模型帧进行直方图对比，若两者差异小于先验阈值，则认为两帧相似，保留模型帧，剔除对比帧；否则，则以对比帧截断图像序列，重新生成，再次执行该步骤直至图像序列遍历完毕；

对所示高斯拉普拉斯算子的每个目标，第i帧第j个区域相似度为S_ij，权值因子M_j，第i帧图像V_ij与V_1j的相似度为S_i，则有：

S_ij＝|V_ij-V_1j|

S107，待目标序列特征化完成之后，将运动目标按照轨迹融合到背景图像之中；

包括如下步骤：首先，判断前景目标是否在整个视频中基本停止，对于此类目标，作出目标静止的额外标记，在视频摘要中，此类标记不作图像融合处理；

第一步，取出步骤S105的全局背景图像作为背景帧；

第二步，将第一个时间段内取得的前景目标按时间顺序通过泊松编辑方法放置在背景中，并标记目标在原始视频中的出现时间；

第三步，当一帧图像中放置的对象数目大于一定阈值时则停止放置；

第四步，取出下一个时间段内的前景目标进行放置直至放完；

第五步，将合成后的所有图像帧组合起来，形成最终的视频摘要。