[发明专利]基于单应变换的视频同步方法

摘要

本发明提出了一种基于单应变换的视频同步方法，用于解决现有技术中存在的当运动目标做非平面运动时视频同步误差较大的技术问题。实现步骤为：对输入视频进行运动目标轨迹提取及背景图像匹配；得到背景图像的对极点；对运动目标轨迹、背景图像特征点和对极点进行归一化；利用背景点、对极点和轨迹点，基于单应变换获得初始轨迹点匹配对，采用对极几何约束剔除错误的轨迹点匹配对；提取轨迹点的时间信息，使用随机抽样一致算法计算出输入视频间的时间模型参数。本发明当运动目标做非平面运动时，可以获得较高的正确匹配率，适用于多视频监控、目标跟踪、视频拼接、三维重建及视频融合等领域。

主权项

1.一种基于单应变换的视频同步方法，其特征在于，包括如下步骤：(1)获取场景的参考视频与待同步视频：使用两台未标定的摄像机，从不同视角位置拍摄含有多个运动目标的同一场景，得到第一视频V₁和第二视频V₂，并将第一视频V₁作为参考视频，将第二视频V₂作为待同步视频；(2)提取参考视频V₁的运动目标轨迹和背景图像I₁，同时提取待同步视频V₂的运动目标轨迹和背景图像I₂：对参考视频V₁和待同步视频V₂分别进行特征提取，得到参考视频V₁的运动目标轨迹点集p₁＝{p_1i|i＝1,2,3...n₁}和背景图像I₁，以及待同步视频V₂的运动目标轨迹点集p₂＝{p′_2j|j＝1,2,3...n₂}和背景图像I₂，其中i表示参考视频V₁的轨迹点所在的帧索引，j表示待同步视频V₂的轨迹点所在的帧索引，p_1i表示轨迹点集p₁中的第i个轨迹点，p_2j表示轨迹点集p₂中的第j个轨迹点，n₁表示参考视频V₁的总帧数，n₂表示待同步视频V₂的总帧数；(3)对背景图像I₁和背景图像I₂进行匹配：将背景图像I₁特征点集合中的特征点与背景图像I₂特征点集合中对应的特征点进行匹配，得到背景图像I₁和背景图像I₂的特征点匹配对集合B，B＝{(b_k,b′_k)|k＝1,2,3...n},n表示特征点匹配对总数，b_k表示背景图像I₁的第k个特征点，b′_k表示背景图像I₂的第k个特征点；(4)计算背景图像I₁的对极点e和背景图像I₂的对极点e′：(4a)从特征点匹配对集合B中随机选取八对特征点匹配对，并将选取出的八对特征点匹配对作为归一化八点算法的输入，计算背景图像I₁与背景图像I₂之间的基础矩阵F；(4b)通过背景图像I₁与背景图像I₂之间的基础矩阵F,计算背景图像I₁的对极点e和背景图像I₂的对极点e′，计算公式如下：Fe＝0F^Te′＝0其中F^T表示F的转置；(5)对特征点匹配对集合B、参考视频V₁的运动目标轨迹点集p₁、待同步视频V₂的运动目标轨迹点集p₂、背景图像I₁的对极点e和背景图像I₂的对极点e′进行归一化：在特征点匹配对集合B中，对背景图像I₁特征点集合中的特征点进行归一化，得到归一化矩阵T，同时对背景图像I₂特征点集合中的特征点进行归一化，得到归一化矩阵和T′，再通过归一化矩阵T对对极点e、背景图像I₁的特征点和参考视频V₁的运动目标轨迹点集p₁中的轨迹点进行归一化，同时通过归一化矩阵T′对对极点e′、背景图像I₂的特征点和待同步视频V₂的运动目标轨迹点集p₂中的轨迹点进行归一化，得到归一化后的对极点e和e′、背景图像I₁的特征点、背景图像I₂的特征点和轨迹点集p₁和p₂，其中：归一化矩阵T和T′，计算公式分别为：其中，(E_x,E_y)、(E′_x,E′_y)分别表示背景图像I₁和背景图像I₂特征点的质心坐标，S、S′分别表示背景图像I₁和背景图像I₂特征点的尺度缩放因子：和分别表示背景图像I₁的第k个特征点b_k的水平和垂直坐标，和分别表示背景图像I₂的第k个特征点b′_k的水平和垂直坐标，n表示特征点匹配对总数；(6)获取归一化后的轨迹点集p₁与轨迹点集p₂之间的匹配对集合M_z：(6a)从归一化后的背景图像I₁的特征点和背景图像I₂的特征点组成的背景特征点匹配对集合B中，随机提取出背景图像I₁中的两个特征点{b₁,b₂}，并在背景图像I₂中提取与{b₁,b₂}匹配的两个特征点{b′₁,b′₂}；(6b)计算参考视频V₁上四个点{e,b₁,b₂,p_1i}与待同步视频V₂上四个点{e′,b′₁,b′₂,p′_2j}之间的单应矩阵H_ij，其中e和e′表示归一化后的对极点，p_1i表示参考视频V₁的运动目标轨迹点集p₁中归一化的轨迹点，p_2j表示待同步视频V₂的运动目标轨迹点集p₂中归一化的轨迹点；(6c)通过背景图像I₁中的两个特征点{b₁,b₂}和对极点e，在参考视频V₁上构建坐标系，并对轨迹点p_1i在构建的坐标系中进行坐标表示，得到轨迹点p_1i的坐标值(x_i,y_i,1)^T；同时通过背景图像I₂中的两个特征点{b′₁,b′₂}和对极点e′，在待同步视频V₂上构建坐标系，并对轨迹点p′_2j在构建的坐标系中进行坐标表示，得到轨迹点p′_2j的坐标值(x′_j,y′_j,1)^T，其中(x_i,y_i,1)^T表示(x_i,y_i,1)的转置，(x′_j,y′_j,1)^T表示(x′_j,y′_j,1)的转置；(6d)根据轨迹点p_1i的坐标值(x_i,y_i,1)^T和轨迹点p′_2j的坐标值(x′_j,y′_j,1)^T，及参考视频V₁上四个点{e,b₁,b₂,p_1i}和待同步视频V₂上四个点{e′,b′₁,b′₂,p′_2j}之间的单应矩阵H_ij，判断轨迹点p_1i与轨迹点p′_2j是否匹配，并将所有的轨迹点匹配对组成初始轨迹点匹配对集合M_c，其中：判断轨迹点p_1i与轨迹点p′_2j是否匹配的判断方法如下：对参考视频V₁运动目标轨迹点集p₁中的轨迹点p_1i,i＝1,2,3...n₁，判断与待同步视频V₂运动目标轨迹点集p₂中轨迹点p′_2j,j＝1,2,3...n₂是否匹配，如果两个轨迹点p_1i与p′_2j是一对正确的轨迹点匹配对，则两个轨迹点p_1i＝(x_i,y_i,1)^T与p′_2j＝(x′_j,y′_j,1)^T的坐标值满足下式：或者其中，是{e,b₁,b₂,p_1i}与{e′,b′₁,b′₂,p′_2j}求得的单应矩阵H_ij的第三行，是单应矩阵H_ij的逆矩阵,th1和th2是判决阈值，i表示参考视频V₁的轨迹点所在的帧索引，j表示待同步视频V₂的轨迹点所在的帧索引，n₁表示参考视频V₁的总帧数，n₂表示待同步视频V₂的总帧数；(6e)对初始轨迹点匹配对集合M_c中的每个轨迹点匹配对进行对极几何约束，并将错误的轨迹点匹配对从M_c中剔除，得到轨迹点匹配对集合M_z；(7)获取参考视频V₁和待同步视频V₂之间的时间模型参数：从轨迹点匹配对集合M_z中提取匹配点对(p_1i,p′_2j)的帧索引，得到参考视频V₁和待同步视频V₂之间的帧匹配对集M_F，M_F＝{(i,j)|(p_1i,p′_2j)∈M_z}，并采用随机抽样一致算法，通过M_F计算参考视频V₁与待同步视频V₂之间的时间模型参数。