[发明专利]使用音频对象的时间变化的音频对象聚类

说明书

本发明的实施例涉及使用音频对象的时间变化的音频对象聚类。提供一种用于在音频对象聚类中使用音频对象的时间变化的方法。该方法包括：获取与所述音频对象相关联的音轨的至少一个片段，所述至少一个片段包含所述音频对象；基于所述音频对象的至少一个属性，估计所述音频对象在所述至少一个片段的持续时间上的变化；以及至少部分地基于估计的所述变化，调整所述音频对象在所述音频对象聚类中对聚类中心的确定的贡献。还公开了相应的系统和计算机程序产品。

技术领域

本发明总体上涉及音频对象聚类，更具体地，涉及用于在音频对象聚类中使用音频对象的时间变化的方法和系统。

背景技术

传统上，音频内容以基于声道(channel based)的格式被创建和存储。在此使用的术语“音频声道”或“声道”是指通常具有预定义物理位置的音频内容。例如，立体声、环绕5.1、环绕7.1等都是用于音频内容的基于声道的格式。近来，很多传统的多声道系统已经被扩展为支持一种新型格式，这种格式包括声道和音频对象二者。在此使用的术语“音频对象”或简称“对象”是指在声场中存在特定持续时间的个体音频元素。一个音频对象可以是动态的也可以是静态的。例如，音频对象可以是人、动物或者能够充当声源的任何其他元素。音频对象和声道可以被分开发送，继而由重现系统动态使用以便基于回放设备的配置来自适应地重建创作意图。作为示例，在称为“自适应音频内容”(adaptive audiocontent)的格式中，可以存在一个或多个音频对象以及一个或多个“静态环境声”(audiobed)，静态环境声是将以预定义的、固定的位置进行重现的声道。

通过创建更具沉浸感的声场以及精准地控制离散的音频对象(无需考虑回放设备的特定配置)，基于对象的音频内容相对于传统基于声道的音频内容而言代表着显著的进步。例如，在电影的音轨中可以包含多个不同声音元素，以对应于屏幕上画面、对话、噪声和音效，这些音效从画面上的不同位置发出，并且与背景音乐和环境音效结合以创建整体的听觉体验。

然而，基于对象的音频内容中的大量音频信号(静态环境声和音频对象)给音频内容的编码和分发带来了新的挑战。将会理解，在很多情况下，诸如在经由蓝光光碟、广播(蓝线、卫星和陆地广播)、移动网络、互联网机顶盒(OTT)或者因特网的分发中，用于传输和处理所有静态环境声、音频对象和相关信息的带宽和／或其他资源可能是有限的。尽管可以使用音频编码和压缩技术来减小待处理信息的量，但是这些技术在某些情况下是不适用的，特别是对于复杂的场景以及带宽非常有限的网络(诸如，移动网络)。而且，音频编码／压缩技术只能够通过考虑单声道或者声道配对内的冗余来降低比特率。对于基于对象的音频内容，很多空间冗余并未被纳入考虑，诸如音频对象之间的空间位置重叠和空间掩蔽效应(mask effect)。

为了利用空间冗余性来进一步降低资源需求，已经提供向音频对象应用聚类(clustering)过程，使得得到的每个类能够代表一个或多个音频对象。通常，一个类可以包含／合并彼此足够接近的多个音频对象(静态环境声可以作为具有预定义位置的音频对象而被处理)。一般而言，在音频对象聚类中，需要考虑若干基本的标准。例如，应当准确地表征和建模原始内容的空间特性，以便保持总体空间感。另外，在聚类过程中应当避免听觉瑕疵或者对后续处理的任何问题／挑战。然而，在空间对象聚类的已知尝试中，聚类通常是在每个帧的基础上执行的。例如，聚类中心(centroid)是针对每个帧而独立确定的，没有考虑音频对象随时间的变化。因此，聚类过程的帧间稳定性相对较低，这很可能在呈现音频对象类时引起听觉瑕疵。

有鉴于此，本领域中需要一种支持更加稳定的音频对象聚类的技术方案。

发明内容

为了解决上述问题，本发明提出一种用于音频对象聚类的方法和系统。