[发明专利]一种基于图割的视频拼接方法

摘要

本发明提出一种基于图割的视频拼接方法，首先通过把图像投影到球面上，把图像对齐问题转化成球面上的像素点旋转问题，把图像在球面上的投影影像划分成若干个格网，每个格网计算一个旋转矩阵实现图像的对齐。然后构造3D图割计算拼接面，为了降低计算量和内存需求，采用局部拼接面更新代替全局的拼接面，利用视频的前n帧计算一个局部拼接面，记录拼接面的最后一条拼接线，把拼接线投影到下一张经过多旋转矩阵对齐的结果图像上，判断当前结果图像和前一张结果图像的梯度差，统计差值大于一定阈值的像素所占比例，比例大于一定阈值则表示拼接线处出现动态目标，需要更新局部拼接面；否则，使用记录的拼接线作为当前帧的拼接线。

主权项

1.一种基于图割的视频拼接方法，其特征在于，包括如下步骤：步骤1，基于球面投影的多旋转矩阵对齐，包括以下子步骤：步骤1.1，将待拼接视频中的每一帧图像投影到单位球面上；步骤1.2，对待拼接视频中相应的待拼接图像划分格网，求解每个格网的旋转矩阵，格网内每个点都使用相同的旋转矩阵，得到球面上对齐的拼接图像，步骤2，基于3D图割构造局部拼接面，并且自适应更新拼接面，优化步骤1.2获得的拼接图像的对齐效果，包括以下子步骤：步骤2.1，利用拼接图像中对应的k帧连续图像构成3D图割，并求解k帧连续图像的局部拼接面，实现方式如下，定义如下3D图割能量方程，求解使得能量方程最小， E ( L ) = Σ p ∈ P D p ( L p ) + Σ ( p . q ) ∈ N V p , q ( L p , L q ) - - - ( 4 ) ]]>其中，Dp(Lp)为数据项，Vp,q(Lp,Lq)为平滑项，数据项的赋值方法是在拼接图像重叠区域统一赋值为零，非重叠区域赋值为无穷大，平滑项的赋值方法为， V p , q ( L p , L q ) = E i , j , t S ( p , q ) + E i , j , p T ( t , t + 1 ) - - - ( 5 ) ]]>其中，表示同一帧的两张图像构成的格网边对应的能量，表示同一个视频序列的相邻两帧之间的格网边对应的能量， E i , j , t S ( p , q ) = E p , q I + E p , q G - - - ( 6 ) ]]> E p , q I = | I r ( p ) - I o ( p ) | + | I r ( q ) - I o ( q ) | - - - ( 7 ) ]]> E p , q G = | I r g ( p ) - I o g ( p ) | + | I r g ( q ) - I o g ( q ) | - - - ( 8 ) ]]>上式中，表示亮度相似性，表示梯度相似性，Ir(p)、Ir(q)、和分别指参考图像p点亮度值、q点亮度值、p点梯度值和q点梯度值，Io(p)、Io(q)、和分别指目标图像上p点的亮度值、q点亮度值、p点梯度值和q点梯度值； E i , j , p T ( t , t + 1 ) = E p t , p t + 1 I + E p t , p t + 1 G - - - ( 9 ) ]]> E p t , p t + 1 I = | I r ( p t ) - I o ( p t ) | + | I r ( p t + 1 ) - I o ( p t + 1 ) | - - - ( 10 ) ]]> E p t , p t + 1 G = | I r G ( p t ) - I o G ( p t ) | + | I r G ( p t + 1 ) - I o G ( p t + 1 ) | - - - ( 11 ) ]]>上式中，pt和pt+1分别指第t帧图像和第t+1帧图像上同一坐标位置；步骤2.2，根据如下方式自适应更新拼接面，获得几何上对齐效果好的拼接图像；1)记录步骤2.1中k帧连续图像的局部拼接面中最后一条拼接线的位置；2)以最后一条拼接线为中轴线，以半径r向外扩充，建立拼接线影响区域；3)进行第k+1帧图像的拼接，判断当前图像在拼接线影响区域内是否有动态目标，如果有则转到1)，否则以当前拼接线中记录的拼接线对当前图像进行拼接，转到步骤2)；步骤3，对步骤2获得的几何上良好对齐的图像进行图像融合，然后压缩成视频，得到最终的拼接后视频。