[发明专利]沉浸式媒体兼容性

说明书

本公开内容的各方面提供了用于音频处理的方法和装置。在一些示例中，用于媒体处理的装置包括处理电路。处理电路接收与媒体应用中的场景的媒体内容相关联的第一6自由度(6DoF)信息。第一6DoF信息包括第一空间位置和用于围绕第一空间位置处的中心旋转的第一旋转取向。处理电路确定用于渲染媒体内容的渲染平台是3自由度(3DoF)平台；以及至少根据第一空间位置来计算媒体内容在不以第一空间位置为中心的球体上的旋转取向。旋转取向是与用于在3DoF平台上渲染的媒体内容相关联的3DoF信息。

相关申请的交叉引用

本申请要求于2022年8月22日提交的题为“IMMERSIVE MEDIA COMPATIBILITY”的美国专利申请第17/892,976号的优先权权益，该美国专利申请要求于2021年8月23日提交的题为“Immersive Media Compatibility”的美国临时申请第63/260,508号的优先权权益。在先申请的公开内容通过引入整体并入本文。

技术领域

本公开内容描述了总体上涉及媒体处理的实施方式。

背景技术

本文提供的背景描述是出于总体上呈现本公开内容的背景的目的。就在该背景技术部分中描述的工作的程度而言，目前署名的发明人的工作以及在提交时可能未被另外作为现有技术的描述的各方面既没有明确地也没有隐含地被承认为是针对本公开内容的现有技术。

在虚拟现实或增强现实的应用中，为了使用户在应用的虚拟世界中具有身临其境的感觉，在应用的虚拟场景中的视频、音频或其他刺激被感知为在真实世界中。在一些示例中，用户在真实世界中的物理移动被感知为在应用中的虚拟场景中具有匹配的移动。此外，用户可以使用被感知为真实的并且与用户在真实世界中的体验相匹配的媒体来与虚拟场景交互。

发明内容

本公开内容的各方面提供了媒体处理的方法和装置。在一些示例中，媒体处理的装置包括处理电路。处理电路接收与媒体应用中的场景的媒体内容相关联的第一6自由度(6DoF)信息。第一6DoF信息包括第一空间位置和用于围绕第一空间位置处的中心旋转的第一旋转取向。处理电路确定用于渲染媒体内容的渲染平台是3自由度(3DoF)平台，以及至少根据第一空间位置来计算媒体内容在不以第一空间位置为中心的球体上的旋转取向。旋转取向是与用于在3DoF平台上渲染的媒体内容相关联的3DoF信息。

在一些实施方式中，第一空间位置在三维(3D)笛卡尔坐标系中由分别与3D笛卡尔坐标系的三个轴相关联的三个坐标值来描述。

在一些示例中，处理电路接收与媒体应用的用户相关联的第二6DoF信息。第二6DoF信息包括第二空间位置和用于围绕第二空间位置处的中心旋转的第二旋转取向。处理电路根据第一空间位置和第二空间位置计算媒体内容在以第二空间位置为中心的球体上的旋转取向。

在示例中，处理电路计算第一空间位置与第二空间位置之间的距离，该距离用于调整媒体内容中的音频的增益。

在一些示例中，处理电路确定用于在球体上从球体上的起点旋转到球体上的第一空间位置的旋转矩阵，并基于该旋转矩阵计算旋转取向。

在一些示例中，处理电路计算第一空间位置与第二空间位置之间的距离，并确定单位球体上对应于第一空间位置的终点。单位球体以第二空间位置为中心，并且具有单位半径。处理电路确定用于在单位球体上从起点旋转到终点的旋转矩阵，并基于该旋转矩阵计算旋转取向。

在一些实施方式中，第一空间位置在三维(3D)极坐标系中由径向距离、方位角和极角来描述。在一些示例中，处理电路将方位角转换成旋转取向的偏航角，并将极角转换成旋转取向的俯仰角和滚动角。

在一些示例中，媒体处理设备是媒体客户端设备，并且处理电路根据旋转取向来渲染第一媒体内容。

在一些示例中，媒体处理设备是媒体服务器设备，并且处理电路然后将与旋转取向相关联的媒体内容从媒体服务器设备提供至媒体客户端设备。