[发明专利]一种基于时空旋转的视频浓缩方法

说明书

本发明公开了一种基于时空旋转的视频浓缩方法，属于计算机视觉领域，包括以下步骤：1)根据目标占比阈值分别进行动态时域平移或时空旋转避免视频浓缩过程中的伪碰撞；2)定义角度临界阈值将时空旋转分为自适应时空旋转和临界时空旋转，在保证压缩率的同时避免伪碰撞；3)设计时序函数进行时序判断，避免目标间的时序混乱；4)最后缝合目标管生成浓缩视频。该方法能够充分利用视频中的时空信息，在保持良好帧浓缩率的同时避免伪碰撞，同时保留目标间的时序关系，具有良好的视觉效果。

技术领域

本发明涉及一种基于时空旋转的视频浓缩方法，属于计算机视觉技术领域。

背景技术

近年来，随着生活水平的提高，人们的安全防范意识不断增强，作为安防有效手段之一的监控设备被广泛地应用于银行、超市等人流密集的场合。大量的摄像机出于安全目的每天24小时用于监控视频录制，产生了海量的视频数据，虽然捕获的视频包含了用于安防的有效信息，但对如此大量视频数据的存储、管理和控制变得越来越困难。在监控视频中，可能一段时间内没有活动或活动只发生在小的图像区域，若采用传统的人工观看视频来寻找所需要的信息，将耗费大量的人力、物力和时间，不仅如此，长时间集中注意力观看视频很容易引起工作人员的疲劳，容易错看、漏看造成信息的误判。视频浓缩技术为以上问题提供了有效的解决方案，它通过将原始画面中的运动轨迹优化重排，生成适合高效浏览与查找的浓缩视频。不仅大大减少了视频时长，而且不会丢失原视频的信息。面对海量监控视频数据，如何实现快速地浏览和查询所需内容成为亟待解决的问题，有着迫切的现实需求。对当今社会时时刻刻都在产生视频数据的这一情况，视频浓缩技术的应用显得尤为重要。

此外，Ghatak等人评估了将管优化重排问题转化为求解能量函数最优解问题的性能，即模拟退火(Simulated Annealing,SA)、文化算法(Cultural Algorithm,CA)、基于教学的优化算法(Teaching–Learning-Based Optimization,TLBO)、森林优化算法(ForestOptimization Algorithm,FOA)、灰狼优化器(Gray Wolf Optimizer,GWO)、非支配排序遗传算法II(Non-dominated Sorting Genetic Algorithm-II,NSGA-II)、JAYA算法、精英-JAYA算法(elitist-JAYA)和自适应多种群JAYA算法(Self-Adaptive Multi-Population-based JAYA,SAMP-JAYA)。在后续改进中，Ghatak等人提出利用SA和JAYA相结合的混合算法改进能量最小化过程。Yao等人使用遗传算法(Genetic Algorithm，GA)生成新的最小化能量函数公式。此外，Xu等人提出了一种基于GA的优化方案来解决浓缩视频生成过程中目标管合并的问题，在信息损失和时间消耗方面优于基于SA方法。Ghatak等人探索了多帧和缩放的概念，提出了一种将GWO和SA混合在一起的HGWOSA优化算法，以获得较低计算代价的全局最优结果。Moussa等人利用粒子群算法(Particle Swarm Optimization,PSO)优化重排目标管，减少伪碰撞，保持时间顺序，计算目标间的交互。

基于目标的视频浓缩中最具挑战性的任务是获得目标管的最佳重排，以在最短的时间跨度内展示最多的运动信息。在视频浓缩过程中，原视频中不存在碰撞的两个目标可能在浓缩视频中发生碰撞，称为伪碰撞。为了解决目标交互性丢失、伪碰撞等问题，许多改进的视频浓缩技术被提出。Nie等人提出了一种在时域和空域中移动目标的视频浓缩技术，以生成减少伪碰撞浓缩视频。Li等人针对视频浓缩中的伪碰撞问题提出了缩小碰撞目标尺寸的解决方案，该方法在时域中将识别出的伪碰撞目标尺寸最小化，虽然伪碰撞的问题在技术上得到了解决，但浓缩后的视频在同一场景中彼此靠近的车辆和人大小可能是相同的，不符合现实情况。He等人定义了运动目标之间的碰撞状态，分别为：无碰撞、同向碰撞、反向碰撞，进一步分析了运动碰撞，还提出了一种基于碰撞图的优化策略，以确定性的方式填充目标管，降低计算复杂度。