[发明专利]一种同时适应于静止相机和运动相机的前景目标提取方法

说明书

技术领域

本发明属于图像处理、计算机视觉和模式识别等技术领域，具体涉及一种同时适应于静止相机和运动相机的前景目标提取方法。

背景技术

前景目标提取是智能视频监控的一个重要而基础的内容，是后续目标跟踪、目标分类以及行为理解的基础，前景目标提取结果的好坏直接影响到这些后续应用的质量。

根据摄像机是否运动，前景目标提取可分为静止相机捕获视频序列和运动相机捕获视频序列两类。在静止相机的前景目标提取中，摄像机与监控场景保持相对静止，在此类摄像机静止——目标运动的情形下，前景目标的提取较为容易，常用的方法包括帧间差分法、背景建模法等，特别是背景建模法可以适应场景的微弱变化和噪声扰动，在很多商业系统中得到了广泛应用中，如混合高斯模型(Gaussian Mixture Models)、码本背景模型(Code Book Models)、视觉背景提取模型(Visual Background Extractor Models)等。

而在实际应用中，运动相机的前景目标提取更加普遍，例如，在互联网视频网站上，绝大部分电影片段通过手持式相机获取，其捕获的视频序列中往往包含着复杂的背景变化；在车载平台、机器人等移动载体上，摄像机需要在运动过程中完成对目标的采集工作；在PTZ相机视觉系统中，PTZ摄像机一般按照预先设定的路线监控大场景，摄像机运动同样会导致复杂的背景运动。上述摄像机运动——目标运动的情况增加了前景目标提取的难度，而前述静止相机的提取算法也将不再适用。

针对运动相机的前景目标提取，许多研究人员展开了深入的研究，并提出了部分解决方法。中国专利CN 102156995A公开了一种运动相机下基于低秩约束的前景目标提取方法，该方法通过低秩约束将视频序列提取的长时运动轨迹分类为背景轨迹和运动目标轨迹，并利用分类后的轨迹构造背景和运动目标的表观模型，从而获得前景目标的提取结果。Elqursh等人在文献“Online moving camera background subtraction”中提出了一种基于轨迹聚类分析和颜色模型迭代学习的前景目标提取方法，该方法首先通过距离度量产生运动轨迹的相似性矩阵，并在谱空间进行聚类，然后利用聚类的紧凑程度、谱空间的离散度以及背景和前景的位置关系，对上一步的聚类结果进行前背景标记，然后根据像素点之间的颜色属性对每个像素进行标记，从而获得最终的前景目标提取结果。

上述两种现有技术均有效利用了视频序列中的运动线索，在运动相机捕获视频序列中可以获得较好的前景提取结果，但是，所有包括这两篇文献在内的现有技术均无法适应于静止相机的前景目标提取，而实际应用中，运动相机捕获的视频序列中常常包含静态背景的情况，如PTZ摄像机不断改变参数对场景进行巡回监视时，PTZ摄像机为运动相机，而其参数固定不变监视某一特定场景时，又等价于静止相机。因此，寻找一种同时适应于静止相机和运动相机的前景目标提取方法是一个亟需解决的技术问题。

发明内容

本发明的目的在于解决现有技术中存在的技术问题，提出一种同时适应于静止相机和运动相机的前景目标提取方法。

为了实现上述目的，本发明采用的技术方案包括以下步骤：

S1构建视频序列时域交叠的多组近邻帧窗口，求解近邻帧窗口的几何运动模型；

S2结合运动模型，计算视频序列长时运动轨迹的平均投影误差；

S3将投影误差升序得到排序后的误差曲线，求解曲线拐点得到长时运动轨迹的前/背景标记信息；

S4结合长时运动轨迹的前/背景标记信息，构建数据项和权重项；

S5结合光流和颜色信息，构建时域平滑项和空域平滑项；

S6结合数据项、权重项、时域平滑项和空域平滑项，构建马尔可夫随机场模型的能量函数，求解能量函数得到前景目标提取结果。

所述步骤S1具体包括如下步骤：

S11提取视频序列的长时运动轨迹其中n为长时运动轨迹的数目，t_i和T_i为运动轨迹Λ_i的初始帧和结束帧序号，为运动轨迹Λ_i在第l(t_i≤l≤T_i)帧图像上的齐次坐标；

S12构建视频序列时域交叠的多个近邻帧窗口，其中近邻帧为间隔为t的任意两帧图像；

S13采用模型估计算法求解每个近邻帧窗口的几何单应模型。

所述步骤S12中参数t＝6，步骤S13的模型估计算法为采用RANSAC算法。

所述步骤S2具体包括如下步骤：