[发明专利]空间音频增强和再现

说明书

一种装置，包括用于执行以下操作的部件：获得包括至少一个音频信号的至少一个空间音频信号(300)，其中至少一个空间音频信号定义至少部分地构成媒体内容的音频场景；基于至少一个空间音频信号来渲染音频场景；获得至少一个增强音频信号(302)；将至少一个增强音频信号变换成至少两个音频对象；基于至少两个音频对象来增强音频场景。

技术领域

本申请涉及用于空间声音增强和再现的装置和方法，但并不排他地涉及用于音频编码器和解码器内空间声音增强和再现的装置和方法。

背景技术

沉浸式音频编解码器正被实现，以支持范围从低比特率操作到透明性的大量操作点。这种编解码器的示例是沉浸式语音和音频服务(IVAS)编解码器，其被设计为适合于在诸如3GPP 4G/5G网络之类的通信网络上使用，包括在诸如例如用于虚拟现实(VR)的沉浸式语音和音频之类的沉浸式服务中使用。该音频编解码器被预期处理语音、音乐和通用音频的编码、解码和渲染。此外还被预期支持基于通道的音频和基于场景的音频输入，包括关于声场和声源的空间信息。编解码器还被预期以低延迟进行操作，以使能会话服务并在各种传输条件下支持高差错鲁棒性。

此外，参数空间音频处理是音频信号处理的一个领域，其中使用一组参数来描述声音的空间方面。例如，在从麦克风阵列进行参数化空间音频捕获时，从麦克风阵列信号估计一组参数是一种典型且有效的选择，该组参数诸如是频带中声音的方向、以及频带中被捕获声音的定向与非定向部分的比率。众所周知，这些参数很好地描述了在麦克风阵列的位置处的被捕获声音的感知空间特性。这些参数可以相应地在空间声音的合成中使用，以用于双耳式耳机、扬声器、或诸如全景环绕声(Ambisonics)之类的其他格式。

沉浸式媒体技术目前正由MPEG进行标准化，被命名为MPEG-I。这些技术包括用于各种虚拟现实(VR)、增强现实(AR)或混合现实(MR)用例的方法。MPEG-I被分为三个阶段：阶段1a、阶段1b和阶段2。这些阶段的特征在于如何考虑3D空间中所谓的自由度。阶段1a和阶段1b考虑3DoF和3DoF+用例，然后阶段2将至少允许显著无限制的6DoF。

增强现实(AR)/虚拟现实(VR)/混合现实(MR)应用的示例是音频(或音频-视觉)环境沉浸，其中实现6自由度(6DoF)内容渲染。

然而，在诸如MPEG-H 3D Audio之类的顶级常规沉浸式编解码器上需要附加的6DoF技术。

发明内容

根据第一方面，提供了一种装置，其包括用于执行以下操作的部件：获得包括至少一个音频信号的至少一个空间音频信号，其中至少一个空间音频信号定义至少部分地构成媒体内容的音频场景；基于至少一个空间音频信号来渲染音频场景；获得至少一个增强音频信号；将至少一个增强音频信号变换成至少两个音频对象；基于至少两个音频对象来增强音频场景。

用于将至少一个增强音频信号变换成至少两个音频对象的部件可以进一步用于生成与至少两个音频对象相关联的至少一个控制准则，其中用于基于至少两个音频对象来增强音频场景的部件可以进一步用于基于与至少两个音频对象相关联的至少一个控制准则来增强音频场景。

用于基于与至少两个音频对象相关联的至少一个控制准则来增强音频场景的部件可以进一步用于以下中的至少一个：定义至少两个音频对象之间允许的最大距离；定义相对于与用户的距离的至少两个音频对象之间允许的最大距离；定义相对于用户的旋转；定义音频对象星座的旋转；定义用户是否被准许位于至少两个音频对象之间；以及定义音频对象星座配置。

所述部件可以进一步用于获得与至少一个音频信号相关联的至少一个增强控制参数，其中用于基于至少两个音频对象来增强音频场景的部件可以进一步用于基于至少两个音频对象和至少一个增强控制参数来增强音频场景。

用于获得包括至少一个音频信号的至少一个空间音频信号的部件可以用于从第一比特流中解码至少一个空间音频信号和至少一个空间参数。

第一比特流可以是MPEG-1音频比特流。