[发明专利]用于确定一或多个音频源的一或多个音频表示的方法、系统和设备

说明书

本文献描述一种用于确定至少一个音频源(200)的位置的方法(700)。所述方法(700)包含在两个或更多个麦克风阵列(210、220、230)处捕获(701)第一麦克风信号和第二麦克风信号，其中所述两个或更多个麦克风阵列(210、220、230)置放在不同位置处。所述两个或更多个麦克风阵列(210、220、230)各自至少包括捕获第一麦克风信号的第一麦克风炭精盒和捕获第二麦克风信号的第二麦克风炭精盒，其中所述第一麦克风炭精盒与所述第二麦克风炭精盒具有以不同方式定向的空间方向性。此外，所述方法(700)包括针对每一麦克风阵列(210、220、230)且基于所述各别第一和第二麦克风信号来确定(702)所述各别麦克风阵列(210、220、230)处的至少一个音频源(200)的入射方向(211、221、231)。另外，所述方法(700)包括基于所述两个或更多个麦克风阵列(210、220、230)处的所述入射方向(211、221、231)来确定(703)所述音频源(200)的所述位置。

相关申请的交叉引用

本申请主张2017年5月25日提交的美国临时专利申请第62/510,898号和2016年9月29日提交的美国临时专利申请第62/401,636号的优先权权益，所述两个申请以全文引用的方式并入本文中。

技术领域

本公开涉及立体音频捕获、建模和表示以及提供一或多个音频对象的立体音频表示(其包含位置和/或音频特征)的方法、设备和过程。

背景技术

虚拟现实(VR)、扩增现实(AR)和混合现实(MR)应用快速发展为包含声音源的逐渐细化声学模型和可从不同视点/视角欣赏到的场景。两个不同类别的柔性音频表示可用于VR应用：声场表示和基于对象的表示。声场表示是基于物理的方法，其编码收听者位置处的入射波前。举例来说，如B格式或高阶立体混响(Higher-Order Ambisonics；HOA)的方法表示使用球面谐波分解的空间波前。基于对象的方法将复杂听觉场景表示为单个要素的集合，其包括可能随时间变化的音频波形和相关参数或元数据。

享受VR、AR和MR应用可包含用户经历不同听觉视点或视角。举例来说，可基于使用6个自由度(degrees of freedom；DOF)的机制来提供基于空间的VR。图1说明展示平移移动(向前/向后、向上/向下和向左/向右)和旋转移动(纵倾、侧转和横转)的6DOF交互的实例。不同于限于头部旋转的3DOF球面视频体验，为6DOF交互创建的内容除了头部旋转之外还允许虚拟环境的导航(例如，在室内行走)。这可基于位置追踪器(例如，基于相机)和定向追踪器(例如，陀螺仪和/或加速计)而实现。6DOF追踪技术可在较高端桌面VR系统(例如，VR、Oculus Rift、HTC Vive)上以及在高端移动VR平台(例如，Google Tango)上可用。用户对声音或音频源的方向性和空间范围的体验对6DOF体验的现实性极为重要，确切地说对贯穿场景和在虚拟音频源周围的导航的体验。

尽管存在允许重构来自多个相机(例如，基于摄影测量)的3D场景的视觉技术，所述相机允许与立体3D模型的交互，但缺乏可与这些立体视频方法匹配的音频方案。举例来说，声场捕获、建模和重构(例如，波场合成(WFS)或较高阶立体混响(HOA))当前在于相对大区域内提供引人注目的6DOF交互和提供方向特性方面受到限制。为在相对大面积或相对宽频率范围内实现良好重构，需要相对大量的单声道麦克风。因此，此类方法受个别麦克风炭精盒的质量或SNR困扰。此外，在单声道麦克风可捕获音频场景信息时，每个点处的空间信息的缺乏使其难以将不同录音融合到相干的音频场景中。

发明内容

本文献以高效和精确方式解决确定包括一或多个音频源的音频场景的立体音频表示的技术问题。