[发明专利]音频驱动的视区选择

说明书

本发明提供一种实例装置，其包含存储器装置及耦合至所述存储器装置的处理器。所述存储器经配置以存储与声场相关联的音频空间元数据以及视频数据。所述处理器经配置以使用存储至所述存储器装置的所述音频空间元数据来识别所述声场的一或多个前景音频对象，且基于所述经识别的一或多个前景音频对象而选择与所述视频数据相关联的一或多个视区。耦合至所述处理器及所述存储器装置的显示器硬件经配置以输出所述视频数据的与由所述处理器选择的所述一或多个视区相关联的部分。

本申请案主张2017年6月30日申请的美国临时申请案第62/527,794号的权利，所述临时申请案的全部内容特此以引用的方式并入。

技术领域

本发明涉及处理例如音频数据及/或视频数据的媒体数据。

背景技术

高阶立体混响(HOA)信号(常常由多个球谐系数(SHC)或其它层次元素表示)是声场的三维表示。HOA或SHC表示可按独立于用以回放从SHC信号显现的多声道音频信号的本地扬声器几何布置的方式来表示声场。SHC信号还可促进后向兼容性，这是因为可将SHC信号显现为熟知且被高度采用的多声道格式，例如5.1音频声道格式或7.1音频声道格式。SHC表示因此可实现对声场的较佳表示，其也适应后向兼容性。

另外，数字视频能力可并入至广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝或卫星无线电电话(所谓的“智能手机”)、视频电话会议装置、视频流式处理装置等等。数字视频装置实施视频译码技术，例如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)、ITU-T H.265(也被称作高效视频译码(HEVC))所定义的标准及这些标准的扩展中所描述的那些视频译码技术。视频装置可通过实施这些视频译码技术而更高效地传输、接收、编码、解码及/或存储数字视频信息。

视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或移除视频序列中所固有的冗余。对于基于块的视频译码，视频切片(例如视频图片或视频图片的部分)可分割成视频块，视频块也可被称作译码树单元(CTU)、译码单元(CU)及/或译码节点。图片的经帧内译码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测被编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。

发明内容

本发明大体上涉及使用计算机介导式(computer-mediated)实境系统的用户体验的听觉方面来增强用户体验的视觉方面，所述实境系统包含虚拟实境(VR)、混合实境(MR)、扩增实境(AR)、计算机视觉及图形系统。在一些特定实例中，本发明的方面涉及使用音频数据的方向性来预测要以较大分辨率输出(或“经升采样”)的对应视频数据的特定部分，从而增强由计算机介导式实境系统提供的用户体验。

在一个实例中，一种装置包含：存储器装置，其经配置以存储与声场相关联的音频空间元数据以及视频数据；及处理器，其耦合至所述存储器装置。在此实例中，所述处理器经配置以使用存储至所述存储器装置的所述音频空间元数据来识别所述声场的一或多个前景音频对象，且基于所述经识别的一或多个前景音频对象而选择与所述视频数据相关联的一或多个视区。在此实例中，所述装置还包含耦合至所述处理器及所述存储器装置的显示器硬件，且所述显示器硬件经配置以输出所述视频数据的与由所述处理器选择的所述一或多个视区相关联的部分。