[发明专利]使用图像信息的基于空间的音频对象生成

说明书

用于生成多通道音频对象的方法、系统和计算机程序产品。使用一个或多个图像分析神经网络识别给定视频帧中的一个或多个特征。使用音频神经网络，基于一个或多个识别的特征和一个或多个基线音频轨道生成多通道音频对象。

技术领域

本发明涉及电气、电子和计算机领域，并且更具体地，涉及生成基于空间的音频对象。

背景技术

直到最近，数字格式的电影通常包括具有不同数量的音频通道(音频轨道)的视频。早期音频轨道中的一些包括单声道音频(一个通道)和后来的立体声音频(两个通道：左通道和右通道)。近年来，音频系统已开始使用具有如杜比全景声(Dolby Atmos)(美国加利福尼亚州三藩市杜比实验室的产品)和的声音传递格式的多通道音频输出(诸如5.1、7.1和9.1格式等)，以用于更沉浸式的体验。随着这种沉浸式声音系统的出现，人们开发了将传统通道音频虚拟地上混音(up-mix)到更多通道的方法(诸如，从立体声音频上混音到5.1格式)。然而，这些方法直接对音频信号执行信号处理技术并且计算通道间相干性，以获得音频的虚拟空间坐标。常规方法采用信号处理技术，如音频轨道上音频的相移、时间延迟或混响，来计算通道间相干性，以用于获得音频源的虚拟空间坐标。这进一步用于隔离通道之间的音频。

发明内容

本发明的原理提供了用于使用图像信息生成基于空间的音频对象的技术。在一个方面中，一种示例性方法包括：使用一个或多个图像分析神经网络识别给定视频帧中的一个或多个特征的操作；以及使用音频神经网络，基于一个或多个识别的特征和一个或多个基线音频轨道(baseline audio track)生成多通道音频对象。

在一个方面中，一种装置包括：存储器；以及耦合到该存储器的至少一个处理器，并且该处理器可操作来执行包括以下各项的操作：使用一个或多个图像分析神经网络识别给定视频帧中的一个或多个特征；以及使用音频神经网络，基于一个或多个识别的特征和一个或多个基线音频轨道生成多通道音频对象。

在一个方面中，一种计算机程序产品具有可由一个或多个计算机处理器执行的计算机可读程序代码，以执行包括以下各项的操作：使用一个或多个图像分析神经网络识别给定视频帧中的一个或多个特征；以及使用音频神经网络，基于一个或多个识别的特征和一个或多个基线音频轨道生成多通道音频对象。

如本文所使用的，“促进”动作包括执行该动作、使该动作更容易、帮助执行该动作或者促使该动作被执行。因此，作为示例而非限制，在一个处理器上执行的指令可以通过发送适当的数据或命令来促使或帮助执行动作，从而促进由在远程处理器上执行的指令执行的动作。为避免疑问，在参与者通过除执行动作以外的方式来促进动作的情况下，该动作仍然是由一些实体或实体组合执行的。

本发明的一个或多个实施例或其元件可以以计算机程序产品的形式实现，该计算机程序产品包括计算机可读存储介质，该计算机可读存储介质具有用于执行所指示的方法步骤的计算机可用程序代码。此外，本发明的一个或多个实施例或其元件可以以系统(或装置)的形式实现，该系统(或装置)包括存储器和至少一个处理器，该处理器耦合到存储器并且可操作为执行示例性方法步骤。此外，在另一方面中，本发明的一个或多个实施例或其元件可以以用于执行本文描述的一个或多个方法步骤的装置的形式来实现；该装置可以包括(i)(多个)硬件模块，(ii)存储在计算机可读存储介质(或多个这样的介质)中并且在硬件处理器上实现的(多个)软件模块，或者(iii)——(i)和(ii)的组合；(i)至(iii)中的任何一项实施本文阐述的特定技术。

本发明的技术可以提供实质性的有益技术效果。例如，一个或多个实施例提供以下一项或多项：

基于图像和视频信息的音频对象生成；

基于模型的上混音过程，其考虑来自图像的空间特征、来自图像的动态特征或这两者，以生成多通道音频；

学习用于生成多通道音频的最佳算法的神经网络；和

可扩展到任意数量的音频通道。