[发明专利]基于投影不变描述子的视频同步方法

说明书

本发明提出了一种基于投影不变描述子的视频同步方法，用于解决已有技术存在的无法适用多种不同场景的视频同步导致的适用范围较窄的技术问题，实现步骤为：对输入视频进行运动目标轨迹提取及背景图像匹配；估计背景图像间的对极几何；基于五共面点交比为每一个轨迹点构建一个投影不变描述子；采用最近邻比次近邻小于指定阈值的准则建立初始轨迹点匹配对；使用轨迹点联合匹配和对极几何约束剔除错误的轨迹点匹配对；以重复多次采样构建计分矩阵及阈值化的方法获得最终帧匹配对，最后使用随机抽样一致算法计算出输入视频间的时间模型参数。本发明能适用于多种复杂场景的视频同步，且可以获得较低的平均时间同步误差和较高的正确匹配率。

技术领域

本发明属于图像处理技术领域，涉及一种视频同步方法，具体涉及一种基于投影不变描述子的视频同步方法，可应用于目标识别与跟踪、视频拼接、高分辨率视频合成及三维重建等领域。

背景技术

视频同步是将非标定且放置在不同视角位置的多个摄像机记录的同一动态场景的多个视频进行时间校准的技术，视频同步的核心目标是建立多个视频中来自同一物理时刻的视频帧的对应关系。视频同步大致分为两类：直接法和基于特征的方法。直接法通常以一整个视频帧作为输入，针对所有的像素值进行综合计算处理，其主要使用视频中全局性的灰度值动态信息完成视频同步，例如流水、飘动的旗帜、闪烁的火焰、光照变换等等。基于特征的视频同步方法主要使用视频中具有代表性的动态特征完成视频同步，例如场景中物体的形状变化，运动目标轨迹等。对直接法和基于特征的方法进行对比可以发现。直接法对于视角差异较大，视频间“外貌”差异较大的场景无法获得较好的结果，且由于直接法是对每个像素点都进行计算，所以算法的运算复杂度比较高，计算量非常大。而基于特征的方法比直接法具有较高的效率和较低的计算量，且基于特征的视频同步方法可以应用于不同光谱特性的视频同步问题。所以，基于特征的视频同步方法具有更广泛的适用性，是当前的研究热点。

在基于特征的视频同步方法中，基于轨迹的视频同步方法占有主导地位，该类方法的基本思想是，含有重叠视角区域的像机所获得的视频的离散轨迹点集之间含有轨迹点的匹配对应关系，通过轨迹点的匹配对应关系获得视频的时间对应关系。通常情况下，基于轨迹的视频同步方法首先分别从参考视频和待同步视频中提取出各自的轨迹点集，每一个轨迹点包含它的位置信息和时间信息。然后使用投影不变表示或者多视图几何技术建立两个离散轨迹点集之间的轨迹点匹配关系，提取出轨迹点的时间信息，从而获得输入视频的时间对应关系。

目前，基于轨迹的视频同步方法中典型的有基于仿射模型、基于投影不变表示和基于对极几何约束三种方法，其中，基于仿射模型的视频同步方法(Lu C,Mandal M.Arobust technique for motion-based video sequences temporal alignment.IEEETransactions on Multimedia,2013,15(1):70-82.)，使用仿射变换作为轨迹点集之间的几何变换模型，能够对像机间视角差异较小的平面运动场景获得较好的效果。但是，当像机间视角差异较大或者运动目标做非平面运动时，基于仿射模型的视频同步方法不能正确模拟不同视角之间的几何变换关系，将计算出大量的错误轨迹点匹配对。因此基于仿射模型的视频同步方法不能对存在较大视角差异或者运动目标做非平面运动的两个视频进行同步。