[发明专利]用于服务器辅助的视频会话的方法和装置

说明书

一种方法、计算机程序产品和系统提供了移动计算设备之间的实时双向音频‑视频会话。低延时是通过以下操作来实现的：将来自给定音频‑视频会话的音频和视频数据流进行分割，使用两个不同的传输协议在网络上发送分离的流，并在另一端处重新同步这些分离的流。基于指示网络或其他移动计算设备的可用带宽的反馈数据来调谐每个流的传输。服务器卸下否则将由移动计算设备处置的处理需求。双向会话可以由基于web的用户进行外部观察。系统通过移动计算设备端点和基于web的端点的全异集合并通过不同无线运营商网络基础结构而工作。

本申请是申请日为2011年6月3日、申请号为201180027592.0、发明名称为“服务器辅助的视频会话”的中国专利申请的分案申请。

相关申请

本申请要求于2010年6月4日提交的美国临时申请No.61/351,711的权益。上述申请的全部教导以引用的方式并入于此。

技术领域

本公开总体涉及移动计算设备网络上的数据传输的领域，更具体地涉及在移动计算设备网络上对音频和视频数据的实时传输。

背景技术

具有记录、传输和显示音频和视频数据的能力的移动计算设备是公知的。这种计算设备还包括用于经由通信网络与世界进行通信的网络接口。从移动计算设备流传输音频和视频是已知的，但是难以在多个网络上实现支持异构设备的大规模服务。存在与从移动设备流传输视频和音频相关联的三个问题。网络延时、设备电池寿命和设备处理限制均使得降低质量并增加音频和视频实时流的延迟。

关于网络延时，全异的移动和web端点导致移动设备网络具有波动的带宽。该问题预期持续，原因是：具有视频记录能力的移动和web设备端点的数目增加；以及无线运营商网络扩充至具有有限网络基础结构的国家中。此外，甚至在一个无线运营商网络内，对每个移动计算设备来说可用的带宽也作为时间以及移动计算设备位置的函数而波动。因此，无线接入的固有特性在于其为前后不一致的。

关于设备处理和电池限制，众所周知，移动计算设备具有有限的电池寿命和有限的处理能力。在移动设备上对音频和视频数据的记录和查看是处理器和电池密集型的。在网络上对该数据进行流传输需要附加的处理和电池功率。此外，移动计算设备为了改进传输质量或使传输稳定而进行的处理越多，则电池寿命越短并且移动计算设备所发送的流的延时越高。

目前的解决方案不足以实现移动计算设备中的音频和视频流传输的延时的实时水平。

发明内容

本发明提供了对移动计算设备之间的音频-视频会话的实时双向流传输。在一个方面，本发明针对在移动计算设备之间进行流传输时延时的实时“会话”水平优化了流传输。本发明还提供了用于最小化为了提供实时流传输所需的处理和电池功率的量的方式。“会话”或实时延时表示在对不间断会话来说足够的视频和音频质量的情况下约500毫秒或更小的端到端视频和音频延时，使得双向会话的两侧均可以实时交互。

会话延时是部分地通过以下操作来实现的：将来自给定音频-视频会话的音频和视频数据流进行分割，使用两个不同的传输协议在网络上发送分离的流，并在另一端处重新同步这些分离的流以提供双向会话体验。用于不同流的协议是鉴于从用户体验的观点来看可接受的每个流的质量和连续性的水平来选择的。本发明针对音频传输利用“数据报”(例如，没有对传输的肯定应答)传输协议并针对视频传输利用“可靠的”(或基于肯定应答的)传输协议，以最小化流的传输的延时。在一个实施例中，针对音频流使用UDP，并针对视频流使用TCP。针对音频流选择UDP以最小化传输的延时；针对视频流选择TCP以确保适当地传输视频数据的特定分组。此外，基于反馈数据来调谐每个流的传输参数，以基于网络或其他移动计算设备的可用带宽来调整流的比特率。