[发明专利]通过网络传输信号的方法和系统

说明书

本申请是申请日为2005年11月30日、申请号为200510128750.8、发明名称为“使用帧高速缓存来改善分组丢失恢复”的中国专利申请的分案申请。

技术领域

本发明一般涉及用于数字地编码、解码和处理视频、图像及其它数字媒体内容的技术。本发明由其涉及通过帧高速缓存来改善分组丢失恢复。

背景技术

数字视频消耗大量存储和传输容量。典型的原始数字视频序列每秒包括15或30帧。每一帧都可包括数以万计或十万计的像素(也称为象素)。每个像素表示图像一个微小的元素。在原始形式中，计算机通常将像素表示为总计为24比特的三个样本的集合。例如，一个像素可包括定义该像素的灰度级分量的8比特亮度样本(也称为luma样本)，以及定义该像素的色彩分量的两个8比特色度样本值(也称为chroma样本)。由此，典型的原始数字视频序列每秒的比特数，或称比特率，可为每秒五百万比特或以上。

许多计算机和计算机网络缺乏处理原始数字视频的资源。为此原因，工程师们使用压缩(也称为编码)来降低数字视频的比特率。压缩通过将视频转换为较低比特率的形式降低存储和传输视频的消耗。解压缩(也称为解码)从已压缩的形式重构原始视频版本。“编解码器”是一种编码器/解码器系统。压缩可以是无损的，其中视频的质量没有损失，但比特率的降低受到视频数据的可变性的固有量(有时称为熵)限制。或者，压缩可以是有损的，其中视频的质量有损失，但可实现的比特率的降低更为可观。有损压缩常常被结合无损压缩来使用——在一种系统设计中，有损压缩建立信息的近似，而无损压缩被应用以表示该近似。

一般而言，视频压缩技术包括“图像内”压缩和“图像间”压缩，其中图像是例如逐行扫描的视频帧、隔行的视频帧(具有交替的行用于视频半帧(field))、或隔行的视频半帧。一般而言，视频序列在给定帧内及相继帧之间包含相当大量的冗余。例如，人眼一般不会注意连续的视频帧里相似背景中的细微的差异。压缩通过移除所发送的比特流内某部分冗余素材，然后当该图像被解压缩时在接收端将其加回，来利用这些冗余。从视频帧中减去的两种常见的冗余是空间和时间冗余。空间冗余在单个帧内的相邻像素之间发生。使用空间冗余来压缩的帧(称为内帧或I帧)在该帧自身内包含重构图像所需的所有信息——它们是自包含的。使用时间冗余的帧(诸如P帧和B帧)需要来自其它帧的信息以进行解码。P帧(预测编码帧)是使用来自前面的I帧和/或P帧的信息来编码的，并且必须使用这些信息来解码。B帧(双向预测编码帧)是同时使用来自前面和后面的I帧和P帧两者的信息来编码的。运动估计通过将独特的内容随从前一已编码的图像(称为参考帧)创建的运动预测图像一起编码来移除连续视频帧(帧间)中的时间冗余。如果参考帧丢失，则其随后的各预测帧将无法被译码——传输误差传播到后续各帧。

对于逐行帧，图像内压缩的技术压缩个体帧(通常称为I帧或关键帧)，而图像间压缩的技术参考在前和/或后续的帧(通常称为参考帧或锚帧)来压缩帧(通常称为预测帧、P帧、或B帧)。I帧(自包含的)和P帧(一般参考在前的帧)本身也可以是参考帧，而同时参考在前和后续帧两者的B帧通常本身不会被用作参考。

当数据在最终视频被显示以前被解压缩时，解码器通常执行压缩操作的逆操作。例如，解码器在解压缩数据时可执行熵解码、逆量化、以及逆转换。当使用运动补偿时，解码器(和编码器)从一个或多个先前重构的帧(现在被用作参考帧)重构一个帧，然后该最近被重构的帧可作为后面各帧的运动补偿的参考帧使用。

通过网络发送的分组容易被丢失——分组被漏失。此丢失的发生是随机且不可预测的。此外，视频压缩流数据对延迟高度敏感；因为分组需要按照它们被发送的相同顺序被重新装配；过多的被延迟的分组会引起跳跃的、中断的信号。传送延迟问题还可能在重新发送新的I帧时发生；新帧易受所有破坏了丢失的参考帧的相同问题的影响。此外，在有损编码方案中，压缩被设计成满足用于存储和传输的目标比特率。高度压缩是通过降低重构图像的质量来实现的。因此，被漏失或延迟的分组所引起的额外丢失可能将图像降低到可接受的等级以下。

处理分组丢失的容限对实时视频编解码器(RTC)在有噪网络(容易产生丢失)中表现良好来说至关重要。大多数现有视频编解码器在参考帧丢失时，通过请求新的I帧来应对分组丢失。其它则使用基于时间片(slice)的编码，这会增加信令开销。图1示出通过请求新I帧来进行的常规分组丢失恢复。