[发明专利]用于在沉浸式现实中提供音频内容的方法和装置

说明书

描述了提供和接收音频内容的方法(700、800)和装置(160‑1、181、184、220、600、156、105)。提供音频内容(700)的方法包括：接收(710)来自第一用户的第一音频内容，基于所述第一用户面向视听内容的至少一个区段的第一观看方向和第二用户面向所述视听内容的至少一个区段的第二观看方向处理(720)所述第一音频内容，以及提供(730)所述经处理的第一音频内容。所述视听内容可以是沉浸式现实内容。描述了一种计算机可读存储介质、计算机程序和非暂时性制品。

技术领域

本公开的至少一个实施例涉及沉浸式现实，具体地，涉及在共享沉浸式现实体验的用户之间提供和/或接收音频内容。

背景技术

本文所述的任何背景信息旨在向读者介绍可能与以下所述的本发明实施例相关的技术的各个方面。相信该讨论有助于向读者提供背景信息，以便于更好地理解本公开的各个方面。因此，应当理解，这些陈述应以此而被阅读。

沉浸式技术是指模糊物理世界或现实与数字或模拟世界或现实之间的界线，从而产生沉浸感的技术，并且包括虚拟现实、增强现实、增强虚拟以及类似混合现实和合并现实的变型。虚拟现实(VR)已经被定义为对三维环境的逼真和沉浸式模拟，其使用交互式软件和硬件而被创建，并且通过身体的移动而被体验或控制，或者简单而言之，其是由计算机生成的沉浸式交互式体验。使用VR设备的人通常能够“环顾”人造世界，在其中移动，并与屏幕或护目镜上所描绘的特征或项目交互。虚拟现实人工地创建感官体验，其可以包括视觉、触觉、听觉以及较不常见的嗅觉。增强现实(AR)(以及类似混合现实和合并现实的变体)是物理、真实世界环境的实况直接或间接的视图，其元件由诸如声音、视频、图形或GPS数据之类的计算机生成的感官输入来增强(或补充)。它涉及被称为介导现实的更一般的概念，其中现实的视图由计算机修改(可能甚至是被减弱而不是增强)。最终，该技术通过增强人们当前的现实感知来起作用。相反，虚拟现实用模拟的真实世界代替真实世界。下面，我们将这些各种技术共同称为沉浸式现实(IR)。沉浸式现实可以显示在计算机监视器、投影仪屏幕上，或者利用沉浸式现实头戴机或观看器(也称为头戴式显示器或HMD)来显示。HMD通常采取头戴式护目镜或在眼睛前面具有屏幕的眼镜的形式。一些模拟可以包括附加的感官信息并且通过扬声器或耳机提供声音。另外，可以利用配备有传感器的手套或手可佩戴设备。

最近，可用的大视场IR内容(高达360°)已经有了增长，其也被称为沉浸式或全景。这样的内容潜在地不能被在诸如安装式显示器、智能眼镜、PC屏幕、平板电脑、智能电话等的沉浸式显示设备上观看该内容的用户完全可见。这意味着在给定时刻，用户可能只观看所述内容的一部分。然而，用户通常可以通过各种手段(诸如头部移动、鼠标移动、触摸屏、语音等)在所述内容内浏览。

沉浸式现实系统通常被看作提供单独的体验。个体用户在体验中单独操作，而不与其他参与用户交互。在多个用户可能同时共享IR体验的情况下，每个用户占据该IR内的唯一位置。该位置是建立个体用户的视点的基础，从该视点渲染该用户的视图，即，向用户示出的IR的图像。这类似于许多多用户计算机渲染的模拟(例如，视频游戏)，其中为每个用户渲染的视图看起来来自很高的有利地位；或者类似于在大规模多人在线游戏(MMOG)中那样，其中每个用户的视图是从其角色的视点以大致人类尺度来渲染的。