[发明专利]用于计算机介导现实系统的渲染

说明书

一般来说，本公开描述用于将高阶立体混响音频数据调适为包含三自由度加效应的技术。经配置以执行所述技术的实例装置包含存储器和耦合到所述存储器的处理器。所述存储器可经配置以存储表示声场的高阶立体混响音频数据。所述处理器可经配置以获取表示与所述装置介接的用户的平移头部移动的平移距离。所述处理器可进一步经配置以基于所述平移距离调适高阶立体混响音频数据，以提供使所述声场适应所述平移头部移动的三自由度加效应，且基于调适的高阶环境音频数据生成扬声器馈送。

技术领域

本申请案要求2017年10月12日申请的美国专利申请案第15/782,252号的权益，所述专利申请案的全部内容以引用的方式并入本文中。

本公开涉及媒体数据，例如音频数据的处理。

背景技术

高阶立体混响(HOA)信号(常常由多个球谐系数(SHC)或其它阶层元素来表示)为声场的三维表示。HOA或SHC表示可按独立于用以播放从SHC信号渲染的多声道音频信号的本地扬声器几何布置的方式来表示声场。SHC信号还可促进回溯兼容性，这是因为可将SHC信号渲染为熟知且经高度采用的多声道格式，例如5.1音频声道格式或7.1音频声道格式。因此，SHC表示可实现对声场的优选表示，其也适应回溯兼容性。

发明内容

本公开大体上涉及计算机介导现实系统的用户体验的听觉方面，所述计算机介导现实系统包含虚拟现实(VR)、混合现实(MR)、扩增现实(AR)、计算机视觉和图形系统。所述技术可实现对考虑头部移动的三自由度(横摆、俯仰和偏转)以及受限的头部的平移移动的VR、MR、AR等高阶立体混响(HOA)音频数据的渲染，其为称作三自由度加(3DOF+)音频渲染的音频渲染的形式。

在一个实例中，所述技术涉及一种装置，其包括：存储器，其经配置以存储表示声场的高阶立体混响音频数据；以及处理器，其耦合到存储器且经配置以获取表示与装置介接的用户的平移头部移动的平移距离。处理器可进一步经配置以基于平移距离调适高阶立体混响音频数据，以提供使声场适应平移头部移动的三自由度加效应，且基于调适的高阶环境音频数据生成扬声器馈送。

在另一实例中，所述技术涉及一种方法，其包括获取表示与装置介接的用户的平移头部移动的平移距离。方法可进一步包括：基于平移距离调适高阶立体混响音频数据，以提供使由高阶立体混响音频数据表示的声场适应平移头部移动的三自由度加效应；以及基于调适的高阶环境音频数据生成扬声器馈送。

在另一实例中，所述技术涉及一种装置，其包括用于获取表示与装置介接的用户的平移头部移动的平移距离的装置。装置可进一步包括：用于基于平移距离调适高阶立体混响音频数据，以提供使由高阶立体混响音频数据表示的声场适应平移头部移动的三自由度加效应的装置；以及用于基于调适的高阶环境音频数据生成扬声器馈送的装置。

在另一实例中，技术涉及一种非暂时性计算机可读存储媒体，其上已存储有指令，所述指令在执行时，促使一或多个处理器：获取表示与装置介接的用户的平移头部移动的平移距离；基于平移距离调适高阶立体混响音频数据，以提供使由高阶立体混响音频数据表示的声场适应平移头部移动的三自由度加效应；且基于调适的高阶环境音频数据生成扬声器馈送。

在随附图式和以下描述中阐述本公开的一或多个实例的细节。技术的各个方面的其它特征、目标和优点将从描述和图式以及从权利要求书显而易见。

附图说明

图1为说明具有各种阶数和子阶数的球谐基函数的图。

图2A和2B为说明可执行本公开中所描述的技术的各个方面的系统的图。

图3为说明由用户穿戴的VR装置的实例的图。

图4为更详细地说明图2A和2B中所示的音频播放系统在执行本公开中所描述的效应技术的各个方面时的框图。

图5为更详细地说明图4的实例中所示的效应单元如何根据本公开中所描述的技术的各个方面获取效应矩阵的图。