[发明专利]一种基于人工神经网络的视频质量评价方法

摘要

一种基于人工神经网络的视频质量评价方法属于计算机数字视频处理领域。该评价算法通过分析视频图像的空间特性(模糊、熵、块效应、频域能量分析、饱和度)和时间特性(帧间差)来计算图像的受损程度。色度空间饱和度作为无参考评价算法的参数之一可有效改善算法的评价效果。本系统是基于人工神经网络而设计的，因此算法的实现包含网络的训练过程和测试过程。对于所选择的训练样本(视频图像序列)，首先提取上述的六项参数，并通过主观评价获取训练样本在训练中的期望输出(主观评价结果)。训练样本的特征参数与对应的主观评价结果作为训练参数输入人工神经网络。依据实验表明，该客观评价系统所获取的评价结果与人眼的视觉感受高度一致。

主权项

1.一种基于人工神经网络的视频质量评价方法，该方法依次包括下述步骤：1)、对于训练样本，首先提取该样本的特征参数，作为人工神经网络的输入参数；同时，通过主观评价获取训练样本的主观评价结果，作为人工神经网络的期望输出结果；2)、将上述获取参数，包括样本的特征参数和对应的主观评价结果，存入参数数据库，用于训练人工神经网络；3)、执行人工神经网络的训练过程：对于每个输入样本，我们将其对应的特征参数作为系统的输入，分别对应于人工神经网络的输入节点，而该输入样本对应的主观评价结果作为系统的期望输出；根据期望输出与实际输出的差异值，来调整人工神经网络中各节点间的连接权值；4)、当满足结束条件时，基于人工神经网络的无参考评价模型即建立完成；之后，通过测验样本来检测该模型的系统性能；5)、对于输入的测试样本，提取同样的特征参数，然后输入到已训练好的模型中，即获取对测试样本的质量评价结果；其特征在于，步骤1)中提取视频图像的特征参数具体为：提取九个特征参数，分别为图像活性、平均梯度、边缘能量统计、过零率统计、熵、块效应、频域能量分布特性、饱和度八个空间特性参数和帧间差一个时间特性参数；并且将前四个空间特性参数进行平均加权，定义为图像的模糊参数；图像活性Activity_image：求水平方向图像活性H₁，如下式所示：D(i)=Σj=1M-1(Y(i,j)-Y(i,j-1))2,(0≤i≤N-1)---(1)]]>H1=Σi=0N-1D(i)---(2)]]>其中，Y是图像的亮度空间，Y(i，j)是图像第i行、j列像素所对应的亮度值；M、N分别为水平和垂直方向的像素数目；D(i)为第i行的统计结果，H₁为水平方向的图像活性；用同样的方法得到垂直方向的图像活性V₁，将两者相加即得到整幅图像的图像活性Activity_image＝H₁+V₁；以下公式中，变量Y(i，j)、M、N的定义均与上述相同；平均梯度Ave_Gradient：先求每个像素平均梯度值G(i，j)，然后对所有像素的梯度值进行累加，并除以总的像素数，得到整幅图像的平均梯度值Ave_Gradient，公式如下：G(i,j)=▿j2Y(i,j)+▿i2Y(i,j)2---(3)]]>Ave_Gradient=Σi=1N-2Σj=1M-2G(i,j)(M-2)×(N-2)---(4)]]>其中，▽_jY(i，j)和▽_iY(i，j)分别为图像像素在(i，j)位置的水平和垂直方向的梯度，按照如下公式计算：▽_jY(i，j)＝(Y(i，j-1)-Y(i，j))-(Y(i，j)-Y(i，j+1))        (5)▽_iY(i，j)＝(Y(i-1，j)-Y(i，j))-(Y(i，j)-Y(i+1，j))        (6)边缘能量统计Edge_Energy：先求解每个像素的边缘信号能量，再求解整幅图像的边缘能量，如下式，e(i，j)＝E₁(Y(i，j))+E₂(Y(i，j))                           (7)Edge_Energy=1(M-2)×(N-2)Σi=1N-2Σj=1M-2e2(i,j)---(8)]]>其中，E₁和E₂为两个3*3模板，具体取值：E1=-1-11-14-11-1-1,]]>E2=1-1-1-14-1-1-11;]]>过零率统计ZC：分别计算水平和垂直方向的过零率，以水平方向过零率为例，计算如下：先对每一行像素的亮度值进行一阶差分，然后比较相邻两个一阶差分的符号，如果相邻的两个一阶差分异号，则过零率的统计值就为1，否则为0；如下公式，Zh=Σi=0N-1Σj=1M-2zh(i,j)---(10)]]>其中，Z_h为水平方向的过零率统计量，用同样的方法得到垂直方向的过零率统计量Z_v；将两者相加即得到图像的过零率统计量ZC＝Z_h+Z_v；对以上四个参数进行平均加权，即得到图像的第一个空间参数：模糊参数Blur_image，计算公式如下：Blurimage=Activityimage+Ave_Gradient+Edge_Energy+ZC4---(11)]]>熵Entropy_image：对亮度信息求解熵，如下公式，Entropyimage=Σi=1Lp(xi)log21p(xi)---(12)]]>其中，L表示出现的灰度级的数目，p(x_i)表示该灰度级的概率，该概率的计算通过灰度级出现的次数除以图像的总像素数得到，上述公式得到的Entropy_image就是整幅图像的熵值；总的块效应的特征值Block_image：水平方向：首先计算每行的一阶差分并求绝对值，如对第i行的求解公式如下，f_i(j)＝|Y(i，j+1)-Y(i，j)|  0≤j≤M-2               (13)上式得到的f_i(j)是长度为M-1的一个数组，对f_i(j)进行补零，使其长度成为2的整数次幂，得到f′_i(j)，然后对其进行快速傅立叶变换，并计算傅立叶系数的幅度谱，再对每一行都进行同样的操作；把所有行的傅立叶变换的幅度谱累加起来，得到了一个水平方向的频域统计的数组，如下式F(n)=Σi=0N-1FFT(fi′(j)),0≤n≤L-1---(14)]]>其中，L为补零后的长度；在计算块效应程度时，对峰值点进行中值滤波，滤波的窗口为3或者5，将峰值减去中值滤波后得到的值除以幅度谱的直流系数F(0)，即得到反映图像的块效应在水平方向的特征值B_h；将同样的方法用于垂直方向得到块效应在垂直方向的特征值B_v，两者相加求平均即为总的块效应的特征值：Blockimage=Bh+Bv2---(15)]]>频域能量分析Fre_Energy：对亮度图像进行频域能量分析得到图像频域能量的分布特征；饱和度Chrome_image：通过图像的两个色度空间来计算饱和度这个特征，计算如下，首先计算图像像素两个色度分量U和V的平方和并求其平方根，作为像素的色度模值，再累加所有模值的统计结果，并除以色度分量的数目，即得到图像的饱和度参数；如下式所示，Chromeimage=1MUV×NUVΣi=0NUV-1Σj=0MUV-1U2(i,j)+V2(i,j)---(17)]]>其中，U(i，j)和V(i，j)分别是图像第i行、j列色度信号所对应的色度取值，M_UV、N_UV是色度信号在水平和垂直方向像素数目，对于常见的四种色度采样格式，这两个变量的取值与M、N的关系如下：当采样格式为4:4:4，M_UV＝M，N_UV＝N；当采样格式为4:2:2，MUV=M2,]]>N_UV＝N；当采样格式为4:1:1，MUV=M4,]]>N_UV＝N；当采样格式为4:2:0，MUV=M2,]]>NUV=N2;]]>帧间差Diff_Frame：此特征求解基于前后两幅图像的亮度信息之差，如下式，Diff_Frame=Σi=0N-1Σj=0M-1|Y(i,j,t+1)-Y(i,j,t)|M×N---(18)]]>其中，变量t是视频序列的时间轴参数；帧间差这个参数求解的是，后一帧与前一帧对应像素的亮度差绝对值的平均信息。