[发明专利]基于内容的视频包优先级分配方法

说明书

本发明公开了一种基于内容的视频包优先级分配方法，首先，根据NAL类型得到初始的slice优先级顺序，参数集优先级最高，I帧、P帧的优先级次高。然后用显著性加权的结构相似性来表示空域感知重要性，用运动活动性表示时域感知重要性，并联合得到空时域感知优先级。将优先级信息写入到NAL头文件中避免了产生额外的码流开销。信道解析NAL头文件，获取NAL类型和时空域感知优先级指标，从而确定每个视频包的优先级顺序。在丢包网络环境中，从低优先级开始丢弃，对高优先级的视频包予以保护。在解码端采用拷贝前一帧的简单方法进行错误隐藏得到解码视频。本发明方法在相同丢包率的情况下，视频质量比随机丢包方法得到的视频质量高，提高了视频传输的鲁棒性。

技术领域

本发明涉及一种提高视频传输鲁棒性的方法，特别是涉及一种基于视频内容的对包进行 优先级分配的丢包方法，应用于视频传输技术利用。

背景技术

当视频流在网络中传输时，有很多因素会导致视频丢包，比如网络阻塞、延时等。现有 的视频编码方式HEVC等，采用帧内预测、帧间预测和量化等技术，某一帧的丢失可能会影 响其他帧的解码，从而导致误差传播，使视频质量严重下降。因此，不同包丢失造成的视觉 影响是不同的，通过研究不同丢包情况的容错性来建立视频包优先级传输模型，可以在相同 丢包率的情况下，减小丢包对视频质量的影响。

当视频通过网络传输时，判断每个视频包的重要性并对重要性高的包给予优先保护的优 先级传输模型，对提高解码端质量至关重要。近年来，涌现了很多视频包优先级传输模型， 并在视频传输中减小了丢包造成的端到端视频质量的损失。HEVC编码后的码流由一系列数 据单元即网络抽象层单元(network abstraction layer，NAL)组成。其最大编码单元是LCU (Largest Coding Units)，每个LCU又可以划分为更小的编码单元(CodingUnits，CU)。每 一帧被分成一个或多个片(slice)，并包含在NAL单元中，通过分析NAL头文件，可以判断 每个包的类型，从而确定初始的优先级顺序。其中，参数集(VPS，PPS，SPS)的优先级最 大，I帧的优先级大于P帧，B帧的优先级最低。通过研究包类型、视频内容等对网络传输视 频质量的影响，可以更准确地为视频包分配优先级。不同的打包策略和错误恢复机制也会影 响传输视频的感知质量。此外，为了在一定差错允许的情况下提高终端视频的感知质量，还 应该将人眼显著性感知等特性整合到优先级传输模型中。

发明内容

本发明的目的是为了在一定的丢包情况下，通过包优先级传输提高终端的用户体验质量, 首次提出基于内容分析的感知优先级分配方法，通过不同的视频特征对丢包容错性的影响建 立视频包优先级分配方法，在网络堵塞等情况下，对优先级低的包进行丢弃，对优先级高的 包进行保护，从而在一定程度上减小丢包对视频质量的影响。本发明方法将优先级信息写入 NAL头文件预留的位置中，避免了额外的码流开销。

为达到上述目的，本发明的构思是：首先，根据NAL类型得到初始的slice优先级顺序， 参数集优先级最高，I帧、P帧的优先级次高。然后我们用显著性加权的结构相似性来表示空 域感知重要性，用运动活动性表示时域感知重要性，并联合得到空时域感知优先级。为了避 免产生额外的码流开销，我们将优先级信息写入到NAL头文件中。信道解析NAL头文件， 获取NAL类型和时空域感知优先级指标，从而确定每个视频包的优先级顺序。在丢包网络环 境中，从低优先级开始丢弃，对高优先级的视频包予以保护，在相同的丢包程度下提高解码 端质量。

一种基于内容的视频包优先级分配方法，其特征在于该方法的具体步骤为：

a.对码流包优先级进行初级分配；

b.空域感知重要性提取：每帧图像初级分配完，计算每一个slice的显著性和对应的 SSIM，将显著性作为SSIM的加权因子用于表示空域感知质量，其值越大表示空域 感知重要性越高；