[发明专利]基于实况记录和基于计算机图形的媒体流的实时合成

说明书

技术领域

本发明涉及媒体流的实时合成，并且大致涉及在各个记录摄影机上实时提供包括基于实况场景的记录的计算机图形的合成媒体流。尤其是，本发明涉及能够记录实况场景并且同步显示包括基于计算机图形的成分的媒体流的摄影机装置，该基于计算机图形的部分与真实的实况场景同步。

背景技术

在影片中嵌入式计算机生成的图形对象是众所周知的技术。计算机图形被用于增强影片的效果，并且能够实现例如通常将难以利用经典的非数字方法生成的幻想类角色和环境。通常，在影片的制作期间，不同的原始资料和各个素材，诸如真实场景和计算机生成的对象，被组合成一个最终图片。典型地，使用不同的方法和技术，来独立地生成这些原始资料，诸如具有真实演员的实况场景、计算机图形（CG）动画、绘景（matte painting）等等。同样地，一些原始资料不能被生成，直到已经拍摄了实况场景。在已经生成各个原始资料图片之后，它们在多个分开的合成步骤中被组合。显而易见地，即使对于具有非常短的持续时间的影片而言，这些处理也需要大量的时间。

另外，在实况场景的记录的原始素材后处理程序的处理期间出现的问题，诸如在CG动画关于实况场景的产生期间检测到的失配，往往不能被解决，导致结果产生的影片的质量降低，乃至需要重新拍摄实况场景，这可能强加相当大的额外费用。类似地，稍后的素材的任何改变是困难的、非常昂贵的，并且有时甚至是不可能的。

为了有助于克服这些问题，已经采用了视觉预览（pre-visualization）工具来提供关于最终产物可以看起来怎么样的想法。然而，视觉预览工具不能够提供类似最终版本并且看起来完全不像最终产物的结果。同样地，这些工具仍然需要大量时间来产生视觉预览，并且往往需要制作小组中断实况场景的记录并且等待视觉预览。

鉴于以上问题，本发明的一个目的是改进影片的制作过程，使得包含实况场景和计算机图形素材。尤其是，本发明的一个目的是能够在CG增强的或者CG产生的影片的制作期间实现瞬时控制。

发明内容

通过独立权利要求中所限定的用于提供合成媒体流的方法，摄影机装置、处理流水线和系统解决了该问题。在相应的从属权利要求中限定了发明的较佳实施例。

根据本公开的用于提供合成媒体流的方法包括使用真实摄影机记录真实场景。基于该记录，生成真实场景的三维表示。此外，虚拟场景内的虚拟摄影机与真实摄影机同步，并且产生使用虚拟摄影机的虚拟场景的表示。该方法进一步包括将真实场景的至少三维表示与虚拟场景的表示合成，以产生媒体流。在真实摄影机提供结果媒体流。

本发明的方法较佳地组合四个要素：（1）真实摄影机，该真实摄影机可以是能够较佳地以高质量记录实况场景的任何适当的记录装置，（2）放置在虚拟场景内的虚拟摄影机，虚拟场景诸如是实时渲染的计算机图形环境，其中，虚拟摄影机与真实摄影机同步，（3）合成单元，该合成单元直接将从真实和虚拟摄影机中获得的媒体流较佳地实时组合成一个媒体流，和（4）结果媒体流在真实摄影机，诸如在摄影机的监视器以及任何其他适当的控制显示器上的直接输出。因此，通过真实摄影机拍摄的图片将直接瞬间地与媒体流合成，该媒体流包括与真实场景相对应的虚拟场景的经渲染的计算机图形数据。因此，结果图片将直接地允许评定和评估当前工作，而没有工作和制作过程的任何中断。

真实场景的记录被用于生成真实场景的三维（3D）表示。通过自动地从该记录的可视数据中提取虚拟对象，并且尤其形成与虚拟对象相关的网状结构以及2D和3D纹理，来建立3D表示。另外，虚拟对象可以被制作成动画，以对应于真实场景中的动作。例如，为了提取与各个虚拟对象相关联的运动数据，可以跟踪真实场景中的对象。提取到的数据可以被组合在真实场景的3D表示中。

真实场景的记录还被用于提取数据，该数据考虑到关于真实场景的真实摄影机的空间配置的确定。可以利用在3D表示的生成期间提供的数据来进一步增强这个确定。同样，其他空间数据可以在记录期间被获取，并且被用于确定例如真实摄影机的位置、取向和速度。关于真实场景的真实摄影机的空间配置可以用于使关于虚拟场景的虚拟摄影机同步。另外，虚拟摄影机的其他参数，诸如焦距、图像格式、主点、光圈、曝光时间、焦点等等，可以被更新以匹配真实摄影机的各个参数。