[发明专利]用于MPEG-H 3D音频的三自由度(3DOF+)扩展的方法、设备和系统

说明书

描述了一种处理指示音频对象的对象位置的位置信息的方法，其中所述对象位置可用于渲染所述音频对象，所述方法包括：获得指示收听者头部的朝向的收听者朝向信息；获得指示所述收听者头部的位移的收听者位移信息；根据所述位置信息确定所述对象位置；通过对所述对象位置应用平移基于所述收听者位移信息修改所述对象位置；以及基于所述收听者朝向信息进一步修改经过修改的对象位置。进一步描述了一种用于处理指示音频对象的对象位置的位置信息的对应设备，其中所述对象位置可用于渲染所述音频对象。

相关申请交叉引用

本申请要求以下优先权申请的优先权：于2018年4月9日提交的美国临时申请62/654,915(参考：D18045USP1)；于2018年7月9日提交的美国临时申请62/695,446(参考：D18045USP2)和于2019年3月25日提交的美国临时申请62/823,159(参考：D18045USP3)，所述美国临时申请通过引用并入本文。

技术领域

本公开涉及用于处理指示音频对象位置的位置信息和指示收听者头部位置位移的信息的方法和设备。

背景技术

ISO/IEC 23008-3MPEG-H 3D音频标准的第一版本(2015年10月15日)和修正案1-4没有规定允许用户头部在三自由度(3DoF)环境中的一定小的平移移动。

发明内容

ISO/IEC 23008-3MPEG-H 3D音频标准的第一版本(2015年10月15日)和修正案1-4提供了用于3DoF环境的可能性的功能，其中用户(收听者)执行头部旋转动作。然而，此类功能最多仅支持旋转场景位移信号传递和对应的渲染。这意指在收听者头部朝向改变的情况下，音频场景可以保持空间上固定，这对应于3DoF性质。然而，在当前MPEG-H 3D音频生态系统内，不可能考虑用户头部的一定小的平移移动。

因此，需要用于处理音频对象的位置信息的方法和设备，所述方法和设备可以潜在地结合用户头部的旋转移动来考虑用户头部的一定小的平移移动。

本公开提供了用于处理位置信息的设备和系统，所述设备和系统具有相应的独立权利要求和从属权利要求的特征。

根据本公开的一方面，描述了一种处理指示音频对象位置的位置信息的方法，其中所述处理可以符合MPEG-H 3D音频标准。所述对象位置可以用于渲染所述音频对象。音频对象可以与其位置信息一起包含在基于对象的音频内容中。位置信息可以是音频对象的元数据(的一部分)。音频内容(例如，音频对象以及其位置信息)可以在经编码音频位流中传送。所述方法可以包含接收音频内容(例如，经编码音频位流)。所述方法可以包含获得指示收听者头部的朝向的收听者朝向信息。收听者可以被称为(例如执行所述方法的音频解码器的)用户。收听者头部的朝向(收听者朝向)可以是收听者头部相对于标称朝向的朝向。所述方法可以进一步包含获得指示收听者头部的位移的收听者位移信息。收听者头部的位移可以是相对于标称收听位置的位移。标称收听位置(或标称收听者位置)可以是默认位置(例如，预定位置、收听者头部的预期位置或扬声器布置的最佳点)。收听者朝向信息和收听者位移信息可以通过MPEG-H 3D音频解码器输入接口获得。收听者朝向信息和收听者位移信息可以基于传感器信息导出。朝向信息和位置信息的组合可以被称为姿势信息。所述方法可以进一步包含根据所述位置信息确定所述对象位置。例如，对象位置可以从位置信息中提取。对象位置的确定(例如，提取)可以进一步基于关于收听环境中一或多个扬声器的扬声器布置的几何形状的信息。对象位置也可以被称为音频对象的信道位置。所述方法可以进一步包含通过对所述对象位置应用平移基于所述收听者位移信息修改所述对象位置。修改对象位置可以涉及针对收听者头部从标称收听位置的位移纠正对象位置。换句话说，修改对象位置可以涉及对对象位置应用位置位移补偿。所述方法可以又进一步包含例如，通过对经过修改的对象位置应用旋转变换(例如，相对于所述收听者头部或所述标称收听位置的旋转)基于所述收听者朝向信息进一步修改经过修改的对象位置。进一步修改用于渲染音频对象的经过修改的对象位置可以涉及旋转音频场景位移。