[发明专利]用于传输基于分组的图像帧的方法和装置

说明书

技术领域

本发明的各方面涉及一种用于传输基于分组的图像帧的方法和装置，并且更具体地涉及一种方法和装置，其用于通过将输入图像划分为帧内(intra)预测帧和帧间(inter)预测帧、对帧内预测帧和帧间预测帧应用不同的错误恢复(resilience)算法、并且对每个帧执行前向纠错(FEC)而传输图像帧。

背景技术

在有线或无线的环境中，在流传输(streaming)视频时，随着时间的推移通信信道改变并且突发错误频繁发生。因此，可能难以确保视频数据的服务质量(QoS)或者体验质量(QoE)。

而且，通常，在预定时间内输入和输出数据的实时流传输系统中，接收端的视频数据的呈现时间受限。并且，接收端的视频数据的呈现时间通过利用在预设时间内操作并依赖于时间特性的外部设备的系统操作(如互操作)而限制。因此，通过自动重复请求(ARQ)的QoS可能同样难以确保。

因此，已经提出防止音频/视频(A/V)数据在错误信道环境中传输时出现错误的各种方法。特别地，这些方法大多数可应用于移动环境(如因特网协议电视(IPTV)和移动电视(TV))中，其中视频流传输数据基于因特网协议(IP)网络传输。

在基于分组的网络环境中，前向纠错(FEC)是一种编码传输数据以允许数据的错误可被检测并可被校正的算法。因此，接收端可以对该数据执行纠错。通常，当错误在网络环境中产生时，接收端执行ARQ。然而大多数的A/V数据(如流传输数据)按照远程桌面协议(RDP)或用户数据报协议(UDP)传输，因此防止ARQ执行。尽管A/V数据可以被重发，但是如果分组晚于其要显示的时间到达，则该分组实际上为丢失分组。如上所述，FEC在数据重发不被允许或无效时执行。

图1是示出传统的传输图像帧的方法的图。参照图1，网络系统包括发送端110和接收端120。在发送端110中，当图像源111输入图像时，图像编码器112编码该输入图像。然后，分组处理单元113根据实时传送协议(RTP)分组该编码的图像数据以便传输该编码的图像数据。接下来，在图像数据被通过网络接口单元115向外传输前，FEC处理单元114将纠错所需的代码插入图像数据中。在接收端120中执行相反处理。从网络接口单元121到FEC处理单元122到分组处理单元123到图像解码器124执行相反处理。最后，该图像数据被显示单元125再现。

在此情形中，发送端110的图像编码器112可对N个相邻图像数据块执行运动预测，并且通过接收关于网络信道环境的报告而控制帧内更新率。该帧内更新为对少量宏块执行帧内编码以防止错误在各传输的帧之间传播的算法。

FEC处理单元114可以通过接收关于各帧之间的运动和网络信道环境的报告而确定FEC编码类型。在传统的传输方法中，应用了通过使用依照比特率、分组丢失率和突发错误长度而预先确定的操作表格而固定的FEC类型和帧内更新率。

然而，上述的传统方法存在下述问题。首先，传统方法不考虑应用到视频编码器(特别的，H.264技术)的错误恢复算法。错误恢复算法包括：冗余分片方法，其中冗余数据以片单元传输；帧内刷新(refresh)方法，其中帧内编码依照预先定义的标准被执行；备用画面方法，其中如果参考画面中存在与具有错误的宏块类似的宏块，则通过使用包括相应的宏块的画面执行重建(restoration)；灵活宏块排序(FMO)方法，其中画面被划分为8片或更少的片组；多参考画面方法，其中通过从多个参考图像中选择来防止错误传播；拟定(draft)噪声建模方法，其中噪声的传播程序基于错误率而建模；和多解码方法，其中编码器在假定多个解码器的情况下统计地计算错误。

通常，视频数据传输中画面组(GOP)的结构是：多个P帧置于I帧后，而该I帧以预定的间隔频繁安排。此处，I帧和P帧具有完全不同的特性。因此，纠错必须根据I帧和P帧的特性而适当地执行。

此外，传统方法贯注于实时传输并且不适于先前存储的内容，如视频点播(video on demand，VOD)数据。另一方面，如果方法贯注于VOD数据，则该FEC可能不适合应用于网络环境中。

发明内容

本发明的各方面提供了一种用于传输图像帧的方法和装置，该图像帧通过将输入图像划分为帧内和帧间预测帧、对帧内和帧间预测帧应用不同的错误恢复算法、并且对每帧执行前向纠错(FEC)而适当纠错。