[发明专利]根据多视角视频流生成全景视频的方法

说明书

技术领域

本发明涉及计算机视频拼接，尤其涉及一种根据多视角视频流生成全景视频的方法。

背景技术

视频在信息的表达中起着非常重要的作用，随着信息技术的发展，有关视频图像的研究和应用也迅速发展起来，如视频会议、可视电话、视频监控和虚拟现实等。但是，目前由于单一摄像头视野范围有限，用户不能同时观看不同角度的自己感兴趣的场景，无法满足个性化要求。基于图像绘制的全景图[1][2](Panoramic Image)就是把离散的图像信息在一幅图像上完整地表现出来。全景图的出现，克服了观众被动观察固定视角的限制，但是全景图像表达的是一种静态的场景，承载的信息量有限。

全景视频(Panoramic Video)是指在不同时刻采集的全景图序列，其承载的信息量非常丰富，可以实时地表现变化的场景。文献[3]采用全景视频在视频会议中进行人物的跟踪和识别，文献[4]采用全景视频进行运动物体的检测，文献[5]将全景视频应用到视频监控中。文献[3][4][5]都采用二次凸面镜和一个摄像机组合，通过用摄像机拍摄凸面镜上的反射图像，将图像通过变换生成360度柱面全景视频。但是这种方法必须采用昂贵的专业视频采集设备，而且全景图是有一张图像变换得到的，因此分辨率明显不如传统拼接而成的全景图像。并且越靠近曲面反射图像的中心点，图像的变形越大，矫正的效果越差。

附：参考文献

[1][1]BROWN M，LOWE D G Recognising panoramas[C].International Conference onComputer Vision，2003：1218-1225

[2][2]吴飞，肖鸿开，赵勇等.大视场视频全景图生成研究[J].浙江大学学报：工学版，2006，40(3)：395-398

[3][3]STIEFELHANGE R，CHEN X，YANG J.Capturing Interactions in Meetings withOmnidirectional  Cameras[J].  International  Journal  of Distance  EducationTechnologies，2005，3(3)：32-45

[4][4]YAMAZAWA K，YOKOYA N.Detecting moving objects from omnidirectional dynamicimages based on adaptive background subtraction[C].International Conference on ImageProcessing，2003(3)：953-956

[5][5]WANG M L，HUANG C C，LIN H Y. An Intelligent Surveillance System Based on anOmnidirectional Vision Sensor[C].Proceedings of the IEEE International Conference onCybernetics & Intelligent Systems，2006:245-250

发明内容

本发明的目的是提供了一种根据多视角视频流生成全景视频的方法。

根据多视角视频流生成全景视频的方法，包括如下步骤：

1)采用多个摄像头对不同视角方向进行全方位覆盖的视频采集；

2)将各个视频流中的同步帧都一一对应起来；

3)通过摄像机标定的方法对各个视频流分别进行矫正；

4)对一组同步的视频帧进行全景拼接，计算出各帧的拼接参数；

5)将计算的拼接参数应用到各视频流中的每一帧，再将同步的每一组帧进行拼接，得到由全景帧组成的全景视频。

多个摄像头对不同视角方向进行全方位覆盖的视频采集：每个摄像头在水平面上以近似同一个圆心向四周不同方向拍摄，任意相邻两个摄像头的视角都有重叠区域，并且所有摄像头的总覆盖区域在水平方向超过360度。

通过摄像机标定的方法对各个视频流分别进行矫正：对各个摄像机分别建立标定模型，计算出内外参数，来矫正恢复由镜头成像所带来的畸变，输出矫正后的帧序列。

将各个视频流中的同步帧都一一对应起来：在每个视频帧采集时都在相应音频轨道写入一个时间戳，通过这些时间戳将各个视频流中属于同一时刻的帧都一一对应起来。

对一组同步的视频帧进行全景拼接的方法，包括如下步骤：

1)对相邻的两个摄像头采集的同步对应帧进行图像配准；