[发明专利]呈现相机

说明书

公开了一种装置，该装置包括媒体接口，被配置为提供多个媒体流，使用至少一个相机阵列中的相机来捕获每个媒体流；输入接口，被配置为接收与输出装置相关联的装置位置；和处理器，被配置为从所述多个媒体流生成适应装置位置的输出流。

技术领域

本公开涉及媒体流的生成，其考虑到与输出装置有关的观看参数。特别地，本发明可以涉及包括相机阵列和用于渲染这种媒体流的个别输出装置的相机装置。

背景技术

相机通常允许捕获具有或不具有音频数据的视频数据，该视频数据随后可以被显示在各自输出装置上。例如，摄像机可以捕获场景的视频，该场景可以被呈现在显示器或屏幕上，诸如在电视机上。然而，这种捕获的媒体通常以线性的方式被呈现给用户，并且不允许为该用户对已显示的媒体做进一步调整。

为了提供更加沉浸式的体验，已经提出了提供甚至接近360°的大观看角度的相机系统。对于录制的影片，可以根据期望的方向或观看者正在观看的方向来选择录制的像素的子集，并且可以将所选择的子集扭曲为可用于用户的输出装置的正确的显示图像。因此，体验该录制的影片的用户可以朝各个方向看，这直接影响所显示的内容。

提供录制内容的更加沉浸式的体验的其他方法涉及分别为观看者的双眼提供媒体流的立体相机系统，以便能够感知纵深并估计录制场景内的对象的距离。然而，录制媒体的呈现和对真实世界的感知之间仍然存在差异。

因此，本公开的一个目的是能够生成和呈现更类似真实世界的感知的所捕获的媒体。

发明内容

上述问题通过根据独立权利要求的装置，相机装置，输出装置和方法来解决。优选实施例在从属权利要求中限定。

根据本公开的一个方面，一种装置包括，媒体接口，被配置为提供多个媒体流，使用至少一个相机阵列中的相机来捕获每个媒体流；输入接口，被配置为接收与输出装置相关联的观看位置；和处理器，被配置为从该多个媒体流生成适应该观看位置的输出流。

可以是本地装置或远程装置的，诸如服务器的媒体装置，使用多个媒体流来生成输出流，以便反映与输出装置相关联的当前观看位置，该当前观看位置可以由操作输出装置的用户或观看者明确地或隐含地设置。例如，用户可以移动自己和/或输出装置，并且输出流会适应该运动，使得运动视差被反映在输出流中。观看位置可以对应于装置位置。然而，观看位置也可以反映用户的位置、用户的头部的位置或用户的眼睛的位置。观看位置也可以基于用户相对于装置的位置来确定。

人类和动物主动地使用运动视差，在运动视差中，移动头部来获得略微不同的视点，以便估计场景中物体的距离和深度。例如，当观看者移动时，观看前景物体并移动其头部的人会体验到前景物体的位置相对于背景偏移。即使在毫米级的非常小的头部位移的情况下，也可以清楚地注意到运动视差效应。要保持人的头部非常静止、运动视差效应完全消失是困难的。运动视差效应通常被人类和动物的视觉感知系统用作重建三维环境的进一步的信息源。因此，通过使输出流连续地适应当前观看位置，能够实现媒体的更加沉浸式的体验。

多个媒体流由至少一个相机阵列的多个相机捕获。相机可以间隔开，使得它们可以从生成当前装置位置的输出流期间可以考虑的不同视点捕获场景。本领域的技术人员将理解，这不能通过单个相机来实现，即使该单个相机具有非常大的观看角度，因为这样的单个相机不能提供来自不同视点的媒体流，而这些不同视点则是反映观看位置的变化所需要的。由单台相机捕获的媒体可能只允许相对于观看朝向进行适应。根据本公开的媒体装置能够基于考虑到运动视差效应的观看位置来生成捕获场景的输出流，并由此生成捕获场景的逼真体验。

媒体流可以包括具有或不具有音频的捕获的视频数据。因此，相机阵列可以包括用于声音获取的元件，该元件可以被布置在相控阵列中，以便确定所录制的声音的空间起源。