[发明专利]基于流形的视频拼接方法

摘要

本发明公开了一种基于流形的视频拼接方法，具体包括以下步骤：（1）条图的切割和粘贴；（2）流形拼接的实现；（3）全景图融合。对于手持设备拍摄视频的拼接，针对手持设备运动不规则的情况，本发明采用了基于流形的拼接方案，该方案可以适应于各种相机运动，而无需事先对相机的运动有所限制。由于相机的运动、物体表面的反射率和点光源等原因，在相机拍摄视频的过程中，相同场景在不同帧上的亮度和色彩很多时候是不相同的。这样在把不同的帧拼接的时候，会有明显的拼接痕迹。本发明对基于流形的视频拼接方案，图像融合等模块做了讨论与分析，这几个模块对全景图的生成和显示效果起着很重要的影响。

主权项

基于流形的视频拼接方法，其特征在于，具体包括以下步骤：（1）条图的切割和粘贴：通过从源图像剪切条图然后把它们粘贴起来从而合成全景图；条图的形状以及宽度都取决于图像的运动；在选取条图以后，对其进行变形从而使得它们的光流平行且幅值相等；（2）流形拼接的实现：将对齐好的图像合成一副全景图有很多种方法，在这些情况中图像的对齐几乎是完美的，从而可以使用所有的重叠图像来生成全景图；用重叠区域来生产全景图的常用方法是用平均法，但是当图像对齐的精度不够的时候，平均法会导致模糊现象，仅选取其中一幅输入图像的某个区域来表示全景图的对应区域是一个更优的方法，这种选择方案能够最小化对齐误差产生的影响；最合理的选择是选取每幅图像的中心区域作为条图，这种选择方案对应着Vonoroi网格；使用Voronoi网格来进行条图的剪切、粘贴也能够最小化镜头扭曲带来的匹配误差；Voronoi网格使得每条接缝距离其对应的两个图像中心的距离相等；由于镜头扭曲效应是一个径向效应，垂直于接缝的特征将在接缝上产生相同的扭曲变形，这样在对齐的时候就无需考虑镜头的扭曲效应；（3）全景图融合：图像亮度的变化通常是由相机的自动增益控制引起的，由于亮度的不同，不同图像的区域拼接在一起的时候会有一个明显的拼接接缝，需要用图像融合的方法来消除该接缝，从而生成无缝全景图；常用的图像融合算法有中值滤波法、加权平均法、多分辨率融合法、最佳缝合线法等，本发明采用加权平均法。