[发明专利]复杂场景的二维视频转换为三维视频的方法及系统

权利要求书

1.一种复杂场景的二维视频转换为三维视频的方法，其特征在于，所述方法包括如下步骤：

步骤1、对输入的二维视频作场景分割，把每一帧分割为前景部分和背景部分；

步骤2、判断前景目标的类型，如果目标的先验模型未知，则利用视频相邻帧之间的光流信息进行前景的三维重建；如果目标的先验模型已知，则利用目标的先验模型进行前景的三维重建；

步骤3、判断背景是否运动，如果背景运动，则利用基于运动的重建方法进行背景的三维重建；如果背景静止，则利用基于影调的重建方法进行背景的三维重建；

步骤4、将步骤2得到的三维重建结果合成三维前景；

步骤5、将步骤3得到的三维重建结果合成三维背景；

步骤6、将步骤4得到的三维前景和步骤5得到的三维背景合成三维视频输出。

2.根据权利要求1所述的复杂场景的二维视频转换为三维视频的方法，其特征在于：

所述前景部分指视频中离摄像机近并且是视频内容所要关心的主要目标的部分；

所述背景部分指视频中离摄像机远并且非视频内容所要关心的主要目标的部分。

3.根据权利要求1或2所述的复杂场景的二维视频转换为三维视频的方法，其特征在于：

所述步骤6中，输出形式是将输入的2D视频的每一帧作为3D视频帧的其中一个视图，而新生成的帧作为3D视频帧的另一个视图，两个视图一起组成完整的3D视频帧，并输入到相应的3D视频显示装置进行显示。

4.根据权利要求1或2所述的复杂场景的二维视频转换为三维视频的方法，其特征在于：

所述步骤6中，输出形式是在每一时刻新生成两个帧作为该时刻3D视频帧的左右视图。

5.一种复杂场景的二维视频转换为三维视频的系统，其特征在于，所述系统包括：

场景分割单元，用以对输入的二维视频作场景分割，把每一帧分割为前景部分和背景部分；

前景类型判断单元，用以判断前景目标的类型；

前景重建单元，连接所述前景目标类型判断单元，用以对前景进行三维重建；如果目标的先验模型未知，则利用视频相邻帧之间的光流信息进行前景的三维重建；如果目标的先验模型已知，则利用目标的先验模型进行前景的三维重建；

背景状况判断单元，用以判断背景是否运动；

背景重建单元，连接所述背景状况判断单元，用以对背景进行三维重建；如果背景运动，则利用基于运动的重建方法进行背景的三维重建；如果背景静止，则利用基于影调的重建方法进行背景的三维重建；

前景合成单元，用以将所述前景重建单元得到的三维重建结果合成三维前景；

背景合成单元，用以将所述背景重建单元得到的三维重建结果合成三维背景；

整体场景合成单元，用以将前景合成单元、背景合成单元合成的三维前景和三维背景合成三维视频输出。

6.根据权利要求5所述的复杂场景的二维视频转换为三维视频的系统，其特征在于：

所述前景部分指视频中离摄像机近并且是视频内容所要关心的主要目标的部分；

所述背景部分指视频中离摄像机远并且非视频内容所要关心的主要目标的部分。

7.根据权利要求5或6所述的复杂场景的二维视频转换为三维视频的系统，其特征在于：

所述整体场景合成单元中，输出形式是将输入的2D视频的每一帧作为3D视频帧的其中一个视图，而新生成的帧作为3D视频帧的另一个视图，两个视图一起组成完整的3D视频帧，并输入到相应的3D视频显示装置进行显示。

8.根据权利要求5或6所述的复杂场景的二维视频转换为三维视频的系统，其特征在于：

所述整体场景合成单元中，输出形式是在每一时刻新生成两个帧作为该时刻3D视频帧的左右视图。