[发明专利]具有用于广域广播的延迟管理的视听协作方法

说明书

已经开发了促进群体视听表演的现场直播的技术。包括声乐的视听表演被捕获，并且以可以创建引人注目的用户和收听者体验的方式与其他用户的表演相协调。例如，在一些情况或实施例中，可以在以艺术家的风格演唱的视听现场直播中支持具有主机表演者的二重唱，其中，积极的歌手请求或排队针对现场无线电演出娱乐格式的特定歌曲。所开发的技术提供了一种通信延迟容忍机制，用于对在地理上分离的设备处(例如，在全球分布但网络连接的移动电话或平板计算机处，或者在地理上与现场演播室分离的视听捕获设备处)捕获的声音表演进行同步。

技术领域

本发明一般涉及多个表演者视听表演的捕获、处理和/或广播，并且具体地涉及适于管理在多个地理上分布的表演者的近实时视听协作的上下文中捕获的针对视听内容的传输延迟的技术。

背景技术

移动电话、个人媒体播放器和便携式计算设备的安装基础，连同媒体流媒体和电视机顶盒，每天都在绝对数量和计算能力方面增长。世界上人们的生活方式中普遍存在并且深深地确立，这些设备中的许多设备超越了文化和经济障碍。通过计算方式，这些计算设备提供了与不到十年前的工程工作站或工作组计算机相当的速度和存储能力，并且通常包括强大的媒体处理器，使得它们适合于实时声音合成和其他音乐应用。部分地作为结果，一些便携式手持设备(例如，iPod和其他或安卓设备)，以及媒体应用程序平台和机顶盒(STB)型设备(例如，Apple设备)相当有能力地支持音频和视频处理，而同时提供适合于高级用户接口的平台。实际上，应用程序(例如，SmuleOcarina^TM、LeafI Am T-Pain^TM、Sing！Karaoke^TM、Guitar！By和Magic应用程序(其可从smule公司获得))已经表明，可以使用这种设备以提供引人注目的音乐体验的方式来传递先进的数字声学技术。

Sing！Karaoke^TM实现方式先前已经证明了使用地理上分布的手持设备相对于彼此在非实时的基础上捕获的声音表演的增长，以及其中(典型地利用在相同的局域网或个人区域网段上的短距离的、可忽略的延迟通信)支持便携式手持设备与本地媒体应用程序平台(例如，室内)之间的更紧密耦合的协调的实现方式也是如此。期望改进的技术和功能能力以将“现在”或“现场感”的亲密感觉扩展到协作的声音表演，其中表演者被更显著的地理距离分开，并且设备之间的通信延迟不可忽略。

随着研究人员试图将他们的创新转变到可部署到现代手持设备和媒体应用程序平台的商业应用，在由处理器、存储器和前述的其它有限计算资源所施加的真实世界约束内和/或在无线和广域网的典型通信带宽和传输延迟约束内，存在显著的实际挑战。例如，当应用程序(例如，Sing！Karaoke)已经证明了表演后视听混合模拟大量表演者的二重唱或协作声音表演的希望，创造了现在的感觉，并且在没有物理共同定位的情况下，现场协作已经证明是难以捉摸的。

期望改进的技术和功能能力，特别是相对于以如下方式来管理通信延迟和所捕获的视听内容：组合的视听表演仍然可以以作为地理上分布的表演者的现场交互协作而呈现给接收者、收听者和/或观看者的方式来传播(例如，广播)。还期望提供“现在”或“现场感”的亲密感觉的观众介入和参与构造。

发明内容

已经发现，虽然通过移动设备平台和媒体应用程序执行环境施加了实际限制，但是包括声乐的视听表演可以被捕获并且可以(以创建令人叹服的用户和收听者体验的方式)与其他用户的视听表演进行协调。在一些情况下，在歌词的卡拉OK型呈现的上下文中并且与伴奏轨迹(backing track)的可听呈现相对应地，捕获协作贡献者的声音表演(与表演同步视频一起)。在一些情况下，通过协作贡献者之间的声音交互(例如，二重唱或对话)，将声音(以及通常同步的视频)捕获为现场或非描述性表演的部分。无论是哪种情况，可以想象，在至少一些协作贡献者之间将存在不可忽略的网络通信延迟，特别是在那些贡献者在地理上分离的情况下。作为结果，存在以如下方式来管理延迟和所捕获的视听内容的技术挑战：组合的视听表演仍然可以以作为现场交互协作而呈现给接收者、收听者和/或观看者的方式来传播(例如，广播)。