[发明专利]基于投影不变描述子的视频同步方法

摘要

本发明提出了一种基于投影不变描述子的视频同步方法，用于解决已有技术存在的无法适用多种不同场景的视频同步导致的适用范围较窄的技术问题，实现步骤为：对输入视频进行运动目标轨迹提取及背景图像匹配；估计背景图像间的对极几何；基于五共面点交比为每一个轨迹点构建一个投影不变描述子；采用最近邻比次近邻小于指定阈值的准则建立初始轨迹点匹配对；使用轨迹点联合匹配和对极几何约束剔除错误的轨迹点匹配对；以重复多次采样构建计分矩阵及阈值化的方法获得最终帧匹配对，最后使用随机抽样一致算法计算出输入视频间的时间模型参数。本发明能适用于多种复杂场景的视频同步，且可以获得较低的平均时间同步误差和较高的正确匹配率。

主权项

1.一种基于投影不变描述子的视频同步方法，包括如下步骤：(1)获取同一动态场景的参考视频和待同步视频：使用两台未标定的摄像机，从不同视角位置拍摄含有多个运动目标的同一动态场景，得到两个视频V₁和V₂，并将视频V₁作为参考视频，视频V₂作为待同步视频；(2)运动目标轨迹提取及背景图像匹配：对参考视频V₁进行特征提取，得到参考视频V₁的运动目标轨迹点集T₁＝{p_1i|i＝1,2,3...n₁}和背景图像I₁，对待同步视频V₂进行特征提取，得到待同步视频V₂的运动目标轨迹点集T₂＝{p_2j|j＝1,2,3...n₂}和背景图像I₂，并对背景图像I₁和背景图像I₂进行图像匹配，得到背景图像I₁和背景图像I₂之间的背景图像特征点匹配对集合B＝{(b_i,b_i′)|i＝1,2,3...n₀}，其中，p_1i是轨迹点集T₁中的第i个轨迹点，n₁是轨迹点集T₁中的轨迹点总数，p_2j是轨迹点集T₂中的第j个轨迹点，n₂是轨迹点集T₂中的轨迹点总数，b_i是背景图像I₁中的特征点，b_i′是背景图像I₂中的特征点，n₀是背景图像特征点匹配对集合B中的特征点匹配对总数；(3)估计背景图像I₁和背景图像I₂之间的对极几何：利用背景图像特征点匹配对集合B，对背景图像I₁和背景图像I₂之间的对极几何进行估计，得到背景图像I₁和背景图像I₂之间的基础矩阵F，及背景图像I₁的对极点e和背景图像I₂的对极点e′；(4)初始化循环控制数及帧匹配对计分矩阵：设置构建帧匹配对计分矩阵的循环控制数为S，循环控制变量s＝0,初始化帧匹配对计分矩阵M_C中所有元素的值为零；(5)构建轨迹点集T₁对应的投影不变描述子集合D₁和轨迹点集T₂对应的投影不变描述子集合D₂：5a)设置投影不变描述子的维度数为N，循环控制变量index＝0；5b)从背景图像特征点匹配对集合B中，分块随机采样出在背景图像I₁中的3个特征点{b₁,b₂,b₃}，及在背景图像I₂中与背景图像I₁中的3个特征点匹配的3个特征点{b′₁,b′₂,b′₃}；5c)经过特征点b₁和b₂做直线l₁，经过对极点e和特征点b₃做直线l₂，并求出直线l₁和l₂的交点b_c；5d)对T₁中的每一个轨迹点p_1i，i＝1,...,n₁，计算五共面点的交比Γ(p_1i,b₁,b₂,b_c,e)，并将其作为轨迹点p_1i的投影不变描述子向量的第index个分量；5e)经过特征点b′₁和b′₂做直线l′₁，经过对极点e′和特征点b′₃做直线l′₂，并求出直线l′₁和l′₂的交点b′_c；5f)对T₂中的每一个轨迹点p_2j，j＝1,...,n₂，计算五共面点的交比Γ(p_2j,b′₁,b′₂,b′_c,e′)，并将其作为轨迹点p_2j的投影不变描述子向量的第index个分量；5g)令循环控制变量index加1，判断循环控制变量index是否小于等于投影不变描述子的维度数N，若是，执行步骤5b)，否则，结束循环，得到轨迹点集T₁对应的投影不变描述子集合D₁和轨迹点集T₂对应的投影不变描述子集合D₂；(6)获取轨迹点集T₁与轨迹点集T₂之间的初始轨迹点匹配对集合按照最近邻比次近邻小于指定阈值的准则，对轨迹点集T₁的描述子集合D₁和轨迹点集T₂的描述子集合D₂进行描述子匹配，得到轨迹点集T₁与轨迹点集T₂之间的初始轨迹点匹配对集合(7)对轨迹点集T₁与轨迹点集T₂之间的初始轨迹点匹配对集合进行修正：7a)对与初始轨迹点匹配对集合中的每一对轨迹点匹配对来自同一帧的轨迹点子集进行联合匹配，并根据匹配结果，检查初始轨迹点匹配对集合中的每一对轨迹点匹配对是否为正确匹配对；7b)剔除初始轨迹点匹配对集合中的错误的轨迹点匹配对，得到轨迹点匹配对集合(8)对轨迹点匹配对集合进行修正：对轨迹点匹配对集合中的每一对轨迹点匹配对施加对极几何约束，并将错误的轨迹点匹配对从中剔除，得到轨迹点匹配对集合(9)获取初级帧匹配对集合提取轨迹点匹配对集合中的每一对轨迹点的时间信息，得到参考视频V₁与待同步视频V₂之间的初级帧匹配对集合(10)分别对帧匹配对计分矩阵和循环控制变量进行更新：给帧匹配对计分矩阵M_C中与当前的初级帧匹配对集合中的所有帧匹配对所对应的所有元素加1，同时给循环控制变量s加1，并判断循环控制变量s是否小于等于构建帧匹配对计分矩阵的循环控制数S，若是，执行步骤(5)，否则执行步骤(11)；(11)获取最终帧匹配对集合M_F：设定帧匹配对选择阈值，并将帧匹配对计分矩阵M_C中的各元素分别与帧匹配对选择阈值进行比较，然后选择出所有大于等于帧匹配对选择阈值的元素所对应的帧匹配对，得到最终帧匹配对集合M_F；(12)计算时间模型参数：对最终帧匹配对集合M_F进行直线拟合，得到参考视频V₁与待同步视频V₂之间的时间模型参数：帧率比α和时间偏移Δt。