[发明专利]利用变换参数的音频编码/解码

说明书

编码/解码技术，其中多个变换参数集与输入音频内容的被渲染回放呈现一起被编码。在解码器侧使用多个变换参数来变换该回放呈现，以提供对于个体收听者相对于他们的听觉简档而优化的个性化双耳回放呈现。这可以通过选择或组合元数据流中存在的数据来实现。

相关申请的交叉引用

本申请要求2019年9月23日提交的美国临时专利申请第62/904,070号和2020年6月2日提交的美国临时专利申请第63/033,367号的优先权，这些申请通过引用而结合于此。

发明领域

本公开涉及具有一个或多个音频分量的音频内容的编码和解码。

发明背景

沉浸式娱乐内容通常采用基于通道或基于对象的格式，以用于跨诸如电影院、家庭音频系统和耳机的目标回放系统的音频的创建、编码、分发和再现。基于通道的格式和基于对象的格式两者采用不同的渲染策略，例如下混合，以便优化音频在其中被再现的目标系统的回放。

在耳机回放的情况下，一种潜在的渲染方案(如图1所示)涉及使用头部相关脉冲响应(HRIRs，时域)或头部相关传递函数(HRTFs，频域)来模拟多通道扬声器回放系统。HRIRs和HRTFs模拟声音从扬声器传播到收听者耳膜时声学环境的各个方面。具体而言，这些响应引入了特定的线索，包括双耳时间差(ITD)、双耳声级差(ILD)和频谱线索，这些线索告知收听者对声音在环境中的空间位置的感知。混响线索的附加模拟可以告知声音相对于收听者的感知距离，并提供关于房间或其他环境的具体物理特征的信息。所得的双通道信号被称为音频内容的双耳回放呈现。

然而，这种方法面临一些挑战。首先，在数据网络上传送沉浸式内容格式(高通道计数或基于对象的)与这种传送的增加的传输带宽和相关成本/技术限制相关联。第二，在回放设备上利用HRIR/HRTF要求对于被传送内容中的每个通道或对象应用信号处理。这意味着渲染的复杂性随着每个被传送的通道/对象而线性增长。由于具有有限的处理能力和电池寿命的移动设备往往是用于耳机音频回放的设备，这样的渲染场景将缩短电池寿命并限制可用于其他应用的处理(即，图形/视频渲染)。

降低设备侧需求的一种方案是在传输之前执行与HRIR/HRTF的卷积(“双耳预渲染”)，从而降低设备上音频渲染的计算复杂度以及传输所需的总带宽两者(即，传送两个音频通道来代替更高的通道或对象计数)。然而，双耳预渲染与额外的约束相关联:当在扬声器上回放音频时，被引入到内容中的各种空间线索(ITD、ILD和频谱线索)也将存在，这实际上导致这些线索被应用两次，将不期望的伪像引入到最终的音频再现中。

文献WO 2017/035281公开了一种方法，当再现系统与内容创建/编码期间所设想的指定布局不匹配时，该方法使用变换参数形式的元数据来将第一信号表示(signalrepresentation)变换成第二信号表示。该方法应用的一个具体例子是将音频编码为预期用于立体声扬声器对的信号呈现，并包括元数据(参数)，该元数据(参数)允许该信号呈现被变换为预期用于耳机回放的信号呈现。在这种情况下，元数据将引入由HRIR/BRIR卷积过程产生的空间线索。利用这种方法，回放设备将以相对较低的成本(带宽和处理能力)访问两种不同的信号呈现。

发明内容

尽管代表了显著的改进，但是WO 2017/035281中的方法具有一些缺点。例如，由于个体身体特征的差异，代表人类感知声音空间位置的能力的ITD、ILD和频谱线索因人而异。具体来说，耳朵、头部和躯干的大小和形状将决定线索的性质，所有这些都可能在个体之间显著不同。每个人都随着时间的推移而学习，以最佳地利用由他们的身体与声学环境的相互作用引起的特定线索以用于空间收听。因此，由元数据参数提供的呈现变换可能不会为大量个人带来耳机上的最佳音频再现，因为在解码过程中由该变换引入的空间线索将不会匹配他们与声学环境的自然发生的交互。

期望提供一种令人满意的解决方案，用于以成本高效的方式在回放设备中提供信号呈现的改进的个体化。