[发明专利]基于全景图拼接的视频编辑方法

说明书

技术领域

本发明涉及一种视频序列处理方法，具体地说，涉及一种通过合成视频全景图，以对全景图的图像编辑来代替传统视频编辑的新方法。

背景技术

传统的视频编辑中，镜头拍摄、剪辑通常以录像带为存储介质，由于素材在录像带上是顺序存放的，要完成编辑必须反复搜索和复制，并在另一录像带重新安排这些素材，这种编辑方法被称之为线性编辑方法。自数字技术发展起来之后出现了专用的非线性编辑机，可以不按照素材在磁带上的线性位置进行更方便的处理。实际上PC也可以作为一台非线性编辑机，因为所有的素材都捕捉到磁盘上，可以随时处理任何时间线位置上的内容。

非线性视频编辑很大程度上方便视频编辑工作，但它仍然是一件很繁琐的工作，这是因为现有的非线性视频编辑是将视频文件逐帧展开，以帧为精度来进行编辑。由于视频数据量极大，因此对视频的逐帧编辑需要耗费大量的人工交互以及计算机的计算量。

由于视频中的物体通常会出现在很多帧，如果直接修改视频，需要逐帧进行，有大量重复工作。如果将整段视频信息用一幅图像来表示，根据需要对这幅图像进行编辑，然后再根据编辑后的图像重新得到视频，不仅使手工参与的工作量大大减小(甚至可以完全由计算机自动完成)，还节省了计算时间，提高了工作效率。由此本发明提出了基于全景图拼接的视频编辑新方法。

发明内容

本发明的目的是提供一种基于全景图拼接的视频编辑方法，解决现有的视频编辑方法对视频逐帧地编辑，不直观，计算量大，耗时长等缺陷，提供一种能够快速、直观地对视频内容进行编辑的方法。

为了实现上述目的，本发明采用的技术方案是：

1、本发明提供了一种基于全景图拼接的视频内容编辑方法，用于对一段运动视频序列的编辑。该方法包括：

1)用多个视频帧生成一描述运动视频全貌的视频全景图；

2)对得到的视频全景图进行图像内容编辑；

3)由编辑后的视频全景图逆投影回各视频帧坐标系，生成编辑后的视频序列。

2、所述的视频全景图生成包括下列步骤：

1)对多个视频帧之间相对的全局运动进行全局运动估计，得出各视频帧图像之间的平面投影关系；

2)如果运动视频序列中包含有运动物体，则首先将其去除；

3)根据各视频帧图像之间的平面投影关系，以第一帧图像作为参考帧，建立全景图坐标系，将各视频帧图像投影到该全景图坐标系中，并估计出全景图的尺寸；

4)根据各视频帧之间的平面投影关系，计算全景图上每个像点在多个视频帧图像中的对应点，将这多个对应点进行排序，取中值作为全景图上的值，构成视频全景图；

3、所述的全局运动估计包括：

1)匹配步骤：提取各视频帧图像的角点，并进行相关匹配，得到初始匹配点集；

2)参数估计步骤：利用Ransac剔除初始匹配点集中的错误匹配，并用最小二乘估计出透视投影下的变换参数。

4、所述运动物体去除方法包括：

1)利用帧差法确定运动物体的大致范围；

2)利用基于颜色的区域分割将图像划分为颜色不同的区域；

3)用图切割法将二者结合，并用前一帧分割结果作为约束进行优化求解。

5、还包括对各视频帧图像进行颜色亮度校正，以消除拍摄时由于曝光和白平衡不一样造成的颜色差异。

6、所述的全景图内容编辑方法包括：

1)图像移植：通过手工选择一块区域，再将此块区域的信息放到需要填充的区域中，根据被填充区域外部的信息改变原区域信息的颜色，使这种填充变得自然；

2)基于信息繁衍的图像编辑：利用围绕着待编辑区域边界的已知信息，沿着梯度最小的方向将边界上的灰度信息“繁殖”到待编辑区域内来实现；

3)纹理图像的半自动填充：自动填充有纹理的区域。

7、所述的编辑后的视频序列生成包括下列步骤：

1)计算从视频全景图到各视频帧坐标系的逆投影矩阵；

2)根据逆投影矩阵从视频全景图生成各视频帧图象，完成视频编辑过程。

本发明具有的有益效果是：

1.本发明将传统视频编辑方法的逐帧编辑转化为对合成的视频全景图像的一次性编辑，极大地减小了编辑所需的人工交互以及计算量；

2.由于用户的编辑工作在得到的视频全景图上完成，因此更直观、准确。

附图说明

图1为本发明方法的流程图。

图2为图像移植的示意图。

图3为纹理图像半自动填充示意图。