[发明专利]用于定向声源的编码及解码的方法、设备及系统

说明书

一些所揭示方法涉及对定向音频数据进行编码或解码。一些编码方法可涉及接收对应于音频对象的单声道信号及对应于所述音频对象的辐射模式的表示。所述辐射模式可包含对应于多个采样时间、多个频带及多个方向的声级。所述方法可涉及对所述单声道音频信号进行编码以及对所述源辐射模式进行编码以确定辐射模式元数据。对所述辐射模式进行编码可涉及确定辐射模式的所述表示的球面调和变换并压缩所述球面调和变换以获得经编码辐射模式元数据。

相关申请案的交叉参考

本申请案主张2018年4月16日申请的第62/658,067号美国专利申请案；2018年6月6日申请的第62/681,429号美国专利申请案及2018年10月4日申请的第62/741,419号美国专利申请案的优先权的权益，所述申请案的全部内容特此以引用的方式并入本文中。

技术领域

本发明涉及基于多个动态及/或移动定向源的定向声源及听觉场景的编码及解码

背景技术

现实世界的声源，无论是自然或人造的(扬声器、乐器、语音、机械装置)均以非各向同性方式辐射声音。特性化声源的辐射模式(或“方向性”)对于正确渲染可为至关重要的，尤其是在例如视频游戏及虚拟/增强现实(VR/AR)应用等的交互式环境的背景中。在这些环境中，用户通常通过在定向音频对象周围走动而与定向音频对象进行交互，借此改变其对所产生声音的听觉立体感(也称为6自由度[DoF]渲染)。用户还可抓取并动态旋转虚拟对象，同样需要在对应声源的辐射模式中渲染不同方向。除更真实地渲染从源到收听者的直接传播效果外，辐射特性还将在源与其环境(例如，游戏中的虚拟环境)之间的高阶声耦合中起主要作用，借此影响混响声音(即，如在回声中那样来回行进的声波)。因此，此类混响可能影响其它空间线索，例如感知距离。

大多数音频游戏引擎提供表示及渲染定向声源的某种方法，但是通常受限于简单的定向增益，其依赖于简单的一阶余弦函数或“音锥(sound cone)”(例如，幂余弦函数)及简单的高频滚降滤波器。这些表示不足以表示现实世界辐射模式，且也不太适合于多种定向声源的简化/组合表示。

发明内容

本文揭示各种音频处理方法。一些此类方法可涉及编码定向音频数据。举例来说，一些方法可涉及接收对应于音频对象的单声道音频信号及对应于所述音频对象的辐射模式的表示。所述辐射模式可例如包含对应于多个采样时间、多个频带及多个方向的声级。一些此类方法可涉及对所述单声道音频信号进行编码及对源辐射模式进行编码以确定辐射模式元数据。所述辐射模式的所述编码可涉及确定所述辐射模式的所述表示的球面调和变换并压缩所述球面调和变换以获得经编码辐射模式元数据。

一些此类方法可涉及基于音频对象的集群来对多个定向音频对象进行编码。所述辐射模式可表示反映针对每一频带的平均声级值的质心。在一些此类实施方案中，所述多个定向音频对象经编码为单个定向音频对象，其方向性与每一音频对象的球面调和系数的时变能量加权平均值相对应。所述经编码辐射模式元数据可指示音频对象的集群的位置，其为每一音频对象的所述位置的平均值。

一些方法可涉及对有关定向音频对象的群组的辐射模式的群组元数据进行编码。在一些实例中，所述源辐射模式可在基于每一频率的方向上经重新缩放为所述输入辐射模式的振幅，以确定归一化辐射模式。根据一些实施方案，压缩所述球面调和变换可涉及奇异值分解方法、主成分分析、离散余弦变换、与数据无关的基及/或消除高于球面调和系数的阈值阶的所述球面调和变换的球面调和系数。

一些替代方法可涉及对音频数据进行解码。举例来说，一些此类方法可涉及接收经编码核心音频信号、经编码辐射模式元数据及经编码音频对象元数据，以及对所述经编码核心音频信号进行解码以确定核心音频信号。一些此类方法可涉及对所述经编码辐射模式元数据进行解码以确定经解码辐射模式，对所述音频对象元数据进行解码，以及基于所述音频对象元数据及所述经解码辐射模式渲染所述核心音频信号。