[发明专利]流式传输可缩放视频的方法和设备

说明书

本发明一般涉及视频数据传输，并特别涉及一种在具有可变带宽的网络上流式传输可缩放视频的方法和设备。

可缩放视频编码指的是能够为每个视频帧提供不同级别或不同数量的数据的编码技术。目前，此类技术由诸如MPEG-2和MPEG-4这样的视频编码标准(即“运动图象专家组”编码)使用。在这些标准所采用的可缩放编码技术中，视频数据帧被编码并被分成基本层和增强层。

通常，基本层包括对编码视频数据进行解码所需的最小数据量。而增强层包括在解码时增强基本层(即，提高其质量)的附加数据。在操作期间，基本层的所有帧均被传输到接收设备。但是，增强层的帧只有在接收设备具有足够的能力来处理附加帧并且/或者用于传送帧的介质具有足够的带宽时才会被传输。

一种已知的可缩放视频技术是细粒可缩放性(fine-granularscalability)。细粒可缩放性(FGS)是在每次进行编码时使用越来越多的数据编码相同的图象(例如，一帧视频)。例如，在转让给本申请相同受让人的序列申请US 09/110,616的题为“可缩放视频编码系统”的共同待审申请中，公开了一种视频编码系统，它具有细粒可缩放性的特性，其中视频的基本层以固定的速率进行编码，而其余的数据或者增强层则以更大范围的速率来编码。

目前，ISO MPEG-4委员会正在研究细粒编码的方法。因而需要一种实际的方法来用以流式传输增强层。在也是授予与本申请相同受让人的序列号为09/177,962的题为“控制数据输出到网络的系统”的另一个共同待审申请中，公开了一种通过基于包的网络流式传输数据的方法。但是，这种方法只能用在通过因特网的有序流的基本层视频中。

本发明的目的在于通过诸如基于包的网络这样的可变带宽网络流式传输可缩放的基于帧的数据。换言之，每个增强层的帧的比特数(对于FGS来说)或子层(对于独立的多层可缩放性来说)是被选择传输的。另外，如果是通过基于包的网络进行传输，那么这些比特或子层也可被分配到多个包中。另外，在网络带度发生变化的情况下，窗口函数可被用来平滑每帧传输的比特数或子层的变化。

特别是，本发明的目的在于一种用于流式传输可缩放视频的方法，该可缩放视频包括基本层数据和增强层数据。该方法包括在一个给定间隔传输基本层数据。确定在给定间隔中是否出现带宽损耗。选择在其中分布带宽损耗的预定帧数。计算在预定帧数中传输的数量减少的增强层数据。在给定间隔中传输数量减少的增强层数据。

根据本发明的方法还包括确定预定的帧数是否已完成。确定是否还有任何剩余的增强层数据。选择在其中分布剩余增强层数据的第二预定帧数。计算在第二预定帧数中传输的第二数量减少的增强层数据。在第二给定间隔中传输第二数量减少的增强层数据。

现在参考附图，其中相似的标号表示相应的部分：

图1所示为由于不可用带宽引起的延迟的增强层传输的时序图；

图2所示为由于不可用带宽引起的增强层质量的大范围变化的时序图；

图3所示为根据本发明的方法的流程图；

图4所示为根据本发明的方法的一个详细实施方案的一个实施例的流程图；

图5所示为根据本发明的设备的一个实施例的框图。

本发明的目的在于通过诸如基于包的网络这样的可变带宽网络流式传输可缩放的基于帧的数据。在被传输之前，视频数据首先必须压缩并编码为基本层和增强层的帧。为此可使用任何已知的编码方案。例如，基本层可根据JPEG、MPEG-1、MPEG-2、MPEG-4等等这样的已知标准进行编码。另外，增强层可利用任何已知的可缩放性结构进行编码。但为了便于下面的讨论，在此假定使用的是“细粒可缩放性”结构。

在视频数据被编码之后，基本层的帧具有R_b比特/秒的平均带宽，而且增强层的帧以R_e比特/秒的平均速率进行编码。在整个系统中，一个给定帧的所有基本层比特必须被传送，以便在解码器中可以重建该帧。增强层的帧具有“细粒度”的特性，意思是每一帧的任意部分或全部数据均可被传输。解码帧的质量随着传输的增强层比特的增加而增加。假设平均总网络带宽超过基本层的带宽(R_tot＞R_b)，从而有传输增强层的空间。