[发明专利]一种基于时空域结构的高效视频质量客观评价方法

摘要

本发明公开了一种基于时空域结构的高效视频质量客观评价方法，其首先通过时空域梯度结合颜色信息计算时空域局部相似度，然后在空域融合阶段采用方差融合，将时空域局部相似度融合成帧级的客观质量值，再通过模拟人类视觉系统中三个重要的全局时域效应，即平滑效应、不对称追踪效应和时近效应，建立时域融合模型，对帧级的客观质量值进行时域融合，最终得到失真视频序列的客观质量值，通过对人类视觉时域效应建模，使得本发明的时域加权方法可以准确高效的评价失真视频的客观质量。

主权项

一种基于时空域结构的高效视频质量客观评价方法，其特征在于包括以下步骤：①令Sr表示无失真参考视频序列，令Sd表示Sr经失真后得到的失真视频序列，其中，Sr中包含的图像的总帧数和Sd中包含的图像的总帧数均为F帧，F>1，Sr中包含的图像和Sd中包含的图像的宽度均为W且高度均为H；将Sr中的所有图像各自的亮度分量构成的序列定义为Sr的亮度分量序列，并记为Yr；将Sr中的所有图像各自的第一色度分量构成的序列定义为Sr的第一色度分量序列，并记为Ur；将Sr中的所有图像各自的第二色度分量构成的序列定义为Sr的第二色度分量序列，并记为Vr；将Sd中的所有图像各自的亮度分量构成的序列定义为Sd的亮度分量序列，并记为Yd；将Sd中的所有图像各自的第一色度分量构成的序列定义为Sd的第一色度分量序列，并记为Ud；将Sd中的所有图像各自的第二色度分量构成的序列定义为Sd的第二色度分量序列，并记为Vd；上述，Yr、Ur、Vr、Yd、Ud、Vd中包含的图像的宽度均为W且高度均为H；②采用三维Prewitt算子计算Yr的时空域梯度幅值序列，记为Gr，将Gr中的第t帧图像中坐标位置为(x,y)的像素点的像素值记为Gr(x,y,t)，同样，采用三维Prewitt算子计算Yd的时空域梯度幅值序列，记为Gd，将Gd中的第t帧图像中坐标位置为(x,y)的像素点的像素值记为Gd(x,y,t)，其中，t的初始值为1，1≤t≤F，1≤x≤W,1≤y≤H，Yrx(x,y,t)表示Yr的水平方向梯度幅值序列Yrx中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Yry(x,y,t)表示Yr的竖直方向梯度幅值序列Yry中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Yrt(x,y,t)表示Yr的时间轴方向梯度幅值序列Yrt中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydx(x,y,t)表示Yd的水平方向梯度幅值序列Ydx中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydy(x,y,t)表示Yd的竖直方向梯度幅值序列Ydy中的第t帧图像中坐标位置为(x,y)的像素点的像素值，Ydt(x,y,t)表示Yd的时间轴方向梯度幅值序列Ydt中的第t帧图像中坐标位置为(x,y)的像素点的像素值，符号表示补零截断的卷积运算符号，经卷积运算得到的Yrx、Yry、Yrt的维度与Yr的维度相同，经卷积运算得到的Ydx、Ydy、Ydt的维度与Yd的维度相同，MOx、MOy、MOt对应表示三维Prewitt算子的水平方向模板、竖直方向模板和时间轴方向模板；③计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部梯度相似度，将Sr中的第t帧图像中坐标位置为(x,y)的像素点与Sd中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部梯度相似度记为Gsim(x,y,t)，其中，c1为防止分式无意义的正常数；④计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部颜色相似度，将Sr中的第t帧图像中坐标位置为(x,y)的像素点与Sd中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部颜色相似度记为Csim(x,y,t)，其中，Ur(x,y,t)表示Ur中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sr中的第t帧图像的第一色度分量中坐标位置为(x,y)的像素点的像素值，Vr(x,y,t)表示Vr中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sr中的第t帧图像的第二色度分量中坐标位置为(x,y)的像素点的像素值，Ud(x,y,t)表示Ud中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sd中的第t帧图像的第一色度分量中坐标位置为(x,y)的像素点的像素值，Vd(x,y,t)表示Vd中的第t帧图像中坐标位置为(x,y)的像素点的像素值，也即Sd中的第t帧图像的第二色度分量中坐标位置为(x,y)的像素点的像素值，c2和c3为防止分式无意义的正常数；⑤根据Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部梯度相似度，及Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部颜色相似度，计算Sr中的每帧图像中的每个像素点与Sd中对应图像中的对应像素点之间的时空域局部相似度，将Sr中的第t帧图像中坐标位置为(x,y)的像素点与Sd中的第t帧图像中坐标位置为(x,y)的像素点之间的时空域局部相似度记为QLS(x,y,t)，QLS(x,y,t)＝Gsim(x,y,t)×(Csim(x,y,t))λ，其中，λ用于调整颜色分量所占的权重，λ>0；⑥采用方差融合方法计算Sd中的每帧图像的客观质量值，将Sd中的第t帧图像的客观质量值记为Qframe(t)，其中，Qmean(t)表示Sr中的第t帧图像中的所有像素点与Sd中的第t帧图像中对应像素点之间的时空域局部相似度的平均值，⑦采用时域加权方法计算Sd的客观质量值，记为Q，其中，ΔQframe(t)＝Qframe(t)‑QLP(t‑1)，α表示质量上升时的权重，β表示质量下降时的权重，γ用于调整时近效应的强度。