[发明专利]融合时空特征的视频图像视觉显著程度检测方法

摘要

本发明涉及一种融合时空特征的视频图像视觉显著程度检测方法，包括：将输入图像切分成图像块，并进行向量化；对所有向量通过主成分分析进行降维；计算每个图像块与其它所有图像块的不相似度，再结合图像块之间的距离计算得到每个图像块的视觉显著性程度，得到空间特征显著图；对空间特征显著图施加中央偏置；计算每个图像块的运动矢量，并结合前两帧的运动矢量提取当前图像块的运动特征，得到时间特征显著图；融合空间和时间特征显著图得到时空特征显著图，进行平滑后得到最终反映图像上各个区域显著程度的结果图像。本发明采用融合时空特征的显著图，能够更准确地预测视频中不同区域的显著程度。

主权项

1.一种融合时空特征的视频图像视觉显著程度检测方法，其特征在于包括以下步骤：步骤1，将输入图像切分成图像块，并进行向量化；步骤1.1，将图像I按照从左至右从上至下的顺序切分成不重叠的L个图像块p_i，i＝1,2,...,L，每个图像块都是一个方块，宽和高都是k，k<W，k<H，W、H分别为图像I的宽和高，每个图像块中的像素个数是k²，图像I可以切分出的图像块总数L＝(W/k)·(H/k)；当图像的宽和高不是k的整数倍时，先对图像进行缩放，保证图像的宽和高是k的整数倍；步骤1.2，将每个图像块p_i向量化为列向量f_i，对于3通道彩色图像I，每个图像块所对应的列向量f_i的长度是3k²；步骤2，对步骤1所得到的所有向量通过主成分分析进行降维；步骤2.1，计算步骤1所得到的所有向量的均值向量f-=Σi=1Lfi]]>步骤2.2，构成样本矩阵A：A=[(f1-f-),(f2-f-),...,(fN-f-)]]]>步骤2.3，计算样本矩阵A的散度矩阵：G=1L2·(ATA)]]>式中，G为L×L散度矩阵；步骤2.4，计算散度矩阵G的特征值和特征向量，挑选最大的d个特征值所对应的特征向量X₁,X₂,...,X_d构成矩阵U：U=X1X2...XdT]]>式中，U为d×L矩阵；步骤3，利用步骤2得到的降维后的向量，计算每个图像块与其它所有图像块的不相似度，再结合图像块之间的距离计算得到每个图像块的视觉显著性程度，得到空间特征显著图；步骤3.1，计算每个图像块p_i的视觉显著性程度，公式如下：M_i＝max_j{ωi_j}(j＝1,...,L)D＝max{W,H}ωij=(xpi-xpj)2+(ypi-ypj)2]]>其中，表示图像块p_i和p_j之间的不相似度，ω_ij表示图像块p_i和p_j之间的距离，u_mn表示矩阵U第m行第n列的元素，(x_pi,y_pi)、(x_pj,y_pj)分别代表图块p_i和p_j在原图像I上的中心点坐标；步骤3.2，将所有图像块的视觉显著性程度取值按照原图像I上各图像块之间的位置关系组织成二维形式，构成空间特征显著图SalMap；空间特征显著图SalMap是一个J行N列的灰度图，J＝H/k，N＝W/k；SalMap上第i行第j列的元素对应原图像I上切分出的图像块p_(i-1)·N+j的显著程度取值为：SalMap(i,j)＝Sal_(i-1)·N+j(i＝1,..,J,j＝1,...,N)步骤4，对于步骤3所得到的空间特征显著图施加中央偏置，得到施加中央偏置后的空间特征显著图；步骤4.1，生成距离图DistMap和人眼平均关注程度权值图AttWeiMap；距离图DistMap的计算公式为：DistMap(i,j)=(i-(J+1)/2)2+(j-(N+1)/2)2(i=1,...,J,j=1,...,N)]]>人眼平均关注程度权值图AttWeiMap的计算公式为：AttWeiMap(i,j)=1-DistMap(i,j)-min{DistMap}max{DistMap}-min{DistMap}(i=1,..,J,j=1,...,N)]]>式中，max{DistMap}、min{DistMap}分别表示距离图上的最大值和最小值；距离图DistMap和人眼平均关注程度权值图AttWeiMap与空间特征显著图SalMap的大小相同；步骤4.2，将空间特征显著图与人眼平均关注程度权值图进行点对点乘法，得到施加中央偏置后的空间特征显著图SalMap'，计算方法为：SalMap'(i,j)＝SalMap(i,j)·AttWeiMap(i,j)(i＝1,..,J,j＝1,...,N)步骤5，根据“块匹配”法计算每个图像块的运动矢量，并结合前两帧的运动矢量提取当前图像块的运动特征，得到时间特征显著图；步骤6，融合步骤4和步骤5得到的两个显著图，得到时空特征显著图；通过二维高斯平滑算子进行平滑，得到最终反映图像上各个区域显著程度的结果图像。