[发明专利]音频场景内的音频缩放处理

说明书

技术领域

本发明涉及音频场景，更特别地，涉及音频场景内的音频缩放处理。

背景技术

音频场景包括多维环境，其中在各种不同的时间和位置出现不同的声音。音频场景的示例可以是声音在不同的位置和时间出现的拥挤的房间、餐厅、森林场景、繁华的街道或者任何室内或室外环境。

音频场景可以使用定向的麦克风阵列或者其它类似的装置而被记录为音频数据。图1提供了音频场景的记录布置的示例，其中音频空间由任意地置于该音频空间内以记录音频场景的N个设备组成。接着所捕获的信号被传送（或者可选地被存储以用于稍后使用）到渲染（rendering）侧，在该处终端用户可以基于他/她的偏好从重建的音频空间中选择收听点。接着渲染部分根据与所选的收听点对应的多个记录来提供下混合信号。在图1中，示出了这些设备的麦克风具有定向波束，但是该概念不限制于此，本发明的实施例可以使用具有任何形式的合适波束的麦克风。此外，麦克风不必采用类似的波束，而是可以使用具有不同波束的麦克风。下混合信号可以是单声道、立体声、双声道信号或者其可以由多个信道组成。

音频缩放指代这样一种概念，其中终端用户有可能选择音频场景内的收听位置并且收听与所选位置相关的音频而不是收听整个音频场景。然而，在典型的音频场景中，来自多个音频源的音频信号或多或少彼此混合在一起，可能导致像噪声的音响效果，而另一方面，在音频场景中通常仅有几个收听位置，在其中可以实现具有独特音频源的有意义的收听体验。遗憾的是，迄今为止还没有识别这些收听位置的技术方案，因此终端用户必须在反复试验的基础上找到提供有意义的收听体验的收听位置，从而可能给出折衷的用户体验。

发明内容

现在发明了一种改进的方法以及实施该方法的技术装备，通过该方法可以确定特定的收听位置并为终端用户更精确地表明该特定的收听位置以达到改善的收听体验。本发明的各个方面包括由在独立权利要求中陈述的特征描述的方法、装置和计算机程序。从属权利要求中公开了本发明的各种不同的实施例。

根据第一方面，根据本发明的一种方法是基于以下想法的：获得源自多个音频源的多个音频信号以创建音频场景；分析该音频场景以确定该音频场景内可缩放的音频点；以及将关于可缩放的音频点的信息提供给客户端设备以用作选择。

根据实施例，该方法进一步包括：响应于从客户端设备接收关于所选择的可缩放的音频点的信息，向客户端设备提供与所选择的可缩放的音频点对应的音频信号。

根据实施例，分析音频场景的步骤进一步包括：判定音频场景的大小；将音频场景划分成多个单元；为包括至少一个音频源的单元确定音频源的至少一个方向矢量用于输入帧的频带；在每个单元内将具有小于预定限值的偏移角的多个频带的方向矢量组合成一个或多个组合方向矢量；并且将音频场景的组合方向矢量的交叉点确定为可缩放的音频点。

根据第二方面，提供了一种方法，包括：在客户端设备中从服务器接收关于音频场景内可缩放的音频点的信息；将可缩放的音频点表示在显示器上以使得能够对优选的可缩放的音频点进行选择；以及响应于获得关于所选择的可缩放的音频点的输入，向服务器提供关于所选择的可缩放的音频点的信息。

根据本发明的方案由于交互的音频缩放能力提供了增强的用户体验。换句话说，本发明通过使能针对指定收听位置的音频缩放功能性而为收听体验提供了附加元素。音频缩放使用户能够基于可缩放的音频点而移动收听位置以更注重于音频场景中的相关声源而不是原本音频场景本身。此外，当收听者有机会交互地改变/缩放他/她在音频场景中的收听点时可以产生沉浸感。

本发明的更多方面包括实施上述方法的装置和计算机程序产品。

鉴于下面实施例的详细公开，本发明的这些和其它方面以及与之相关的实施例将变得显而易见。

附图说明

下面，将参考附图对本发明的各种实施例进行更详细的描述，其中：

图1示出了具有N个记录设备的音频场景的示例；

图2示出了端对端系统的框图的示例；

图3示出了在端对端情境中提供用于本发明实施例的架构的系统的高级别（high level）框图的示例；

图4示出了根据本发明的实施例的可缩放的音频分析的框图；

图5a-5c图示了根据本发明的实施例获得可缩放的音频点的处理步骤；

图6图示了记录角的确定的示例；

图7示出了根据本发明的实施例的客户端设备操作的框图；

图8图示了可缩放的音频点的终端用户表示的示例；以及