[发明专利]基于内容的视频包优先级分配方法

权利要求书

1.一种基于内容的视频包优先级分配方法，其特征在于：该方法的具体步骤为：

a.对码流包优先级进行初级分配；

b.空域感知重要性提取：每帧图像初级分配完，计算每一个slice的显著性和对应的SSIM，将显著性作为SSIM的加权因子用于表示空域感知质量，其值越大表示空域感知重要性越高；

c.对步骤b所得的空域感知质量的值进行二值化处理，将视频图像分为显著区域，设为“1”和非显著区域，设为“0”；对于每个slice，将二值化结果进行归一化处理，若非零，则该slice判定为空域感知显著，否则为非感知显著；

d.时域感知重要性提取：计算slice中所有最大编码单元(Largest Coding Units,LCU)的编码单元(Coding Units,CU)运动矢量的幅值作为运动活动性，若运动活动性大于0，判定当前slice时域显著，否则为时域不显著；

e.时空域感知优先级分配：当slice中的区域既是空域感知重要性区域也是时域感知重要性区域时，它的空时域感知优先级等级最高；当slice中的区域是空域感知重要性区域或时域感知重要性区域时，优先级次高；而当slice中的区域既不是空域感知重要性区域也不是时域感知重要性区域时，分配最低感知优先级，即表示为：

f.感知重要性写入：将步骤e得到的感知重要性指标写入NAL头文件预留位中，通过解析该重要性指标，判断其优先级顺序；丢包环境下，从优先级最低的视频包开始丢弃，直到达到丢包率为止；

所述步骤a的具体步骤为：当有连续5个包丢失时，设定下一个包的优先级为高，优先级索直接写入NAL头文件中；然后判断数据类型，如果是参数集，则具有最高优先级；如果是I、P帧，则赋予次高优先级；如果是B帧，则进入步骤b；视频编码后的码流以NAL为单位，码流在信道中传输过程中，首先解析每个数据包的NAL头文件，确定其基本数据类型；如果是参数集(PPS，SPS，VPS)信息，含有整个视频的编码信息，则具有最高优先级，保证在传输过程中不能丢失；如果是I帧或者P帧数据，作为后续帧的参考，具有次高优先级，而且视频中I帧和P帧的比例相对较少，在有限带宽的情况下，能保证其顺利传输；然后如果是B帧数据，则进入步骤b；

所述步骤b中的显著性指标由片(slice)的显著性和对应的结构相似性度量(Structure Similarity Index Metric,SSIM)来计算：

其中，Sal_idx是加权以后的显著性指标，用于表示空域感知质量，其数值越大表示空域感知重要性越高；w_i是基于显著性模型的窗函数，用于对当前slice的显著性进行归一化处理，表达式如下：

其中，sal_i是由Itti显著性模型计算得到的当前slice的显著性值，N是一帧中片(slice)的数目，i和j分别是slice的位置；

所述步骤c的具体步骤为：采用最大类间方差法，把图像的灰度按照灰度级分为两个部分，使得两个部分之间的灰度值差异最大，每个部分之间的灰度差异最小，通过方差的计算来寻找一个合适的门限值；门限值Threshold通过最大类间方差计算出，当加权后的显著性值Sal_idx大于该门限值Threshold时，判断该区域是显著区域，设为“1”；反之，属于非显著区域，设为“0”，即：

对于每个片(slice)，将二值化结果进行归一化处理，其中，Threshold是通过最大类间方差计算出的门限值，若非零，则该slice判定为空域感知显著，否则为非感知显著；为了进一步衡量slice的空域感知质量，对整个slice中所有像素进行归一化处理：

其中，Spat_norm为slice的归一化空域感知重要性系数，该值越大，表明空域感知重要性越大，N和M分别为slice的宽和高，Sal_idx(i,j)为二值化处理以后的显著性图的像素值；由于在视频中背景占很大部分，显著性区域只占很小比重，因此Spat_norm大部分为零，为了简单化，认为Spat_norm非零的区域为空域感知重要性区域：

其中，P_spat为空域感知重要性，当P_spat＝1表示该slice为空域感知显著，P_spat＝0为非感知显著；

所述步骤d中的具体步骤为：定义CU的运动矢量：

MV＝(MV_x,MV_y)

MV_x和MV_y分别为运动矢量的水平和垂直分量，然后计算slice中所有LCU的MV幅值，每个slice的运动活动性MA表示如下：

其中N为slice中LCU的数目，M为LCU中CU的数目，i为当前LCU的编号，j为当前CU在LCU中的位置编号，运动越剧烈，则运动活动性越大，时域显著性越强；

在所述步骤d中，根据MA大小确定时域感知重要性：

其中，P_temp为时域感知重要性，根据P_temp的值来判断时域感知重要性，P_temp＝1表示时域显著的slice，P_temp＝0表示时域不显著的slice。