[发明专利]一种虚拟视角合成视频质量的无参考评价方法

摘要

本发明提出一种虚拟视角合成视频质量的无参考评价方法，该方法包括两个模块，模块1：对待评价的虚拟视角合成视频进行基于双重检测的闪烁失真区域提取，提取出视频中的所有闪烁块；模块2：将提取出的每一帧中的闪烁块与其在前一帧中相匹配的块进行奇异值分解，然后利用每个闪烁块的最大奇异值对所有奇异值进行归一化，并求出各闪烁块与其匹配块在归一化后的奇异值均值之间的距离，将其作为块的闪烁失真强度。将每个闪烁块的失真强度的F范数作为该块的质量分数，将每一帧中所有闪烁块的质量分数之和作为当前帧的质量分数，将所有帧的质量分数均值作为视频的最终质量分数。本发明能较精确的评价虚拟视角合成视频质量。

主权项

1.一种虚拟视角合成视频质量的无参考评价方法，其特征在于，包括步骤：(1)将待评价的虚拟视角合成视频分解为一帧一帧的图像；(2)提取虚拟视角合成视频中每帧图像的闪烁区域，提取闪烁区域的步骤包括：(21)闪烁失真区域的初步提取，包括步骤：(211)将当前帧图像与其前一帧图像均进行分块，使用基于块的运动估计算法得到当前帧图像中的块与其前一帧图像中的块之间的匹配关系；(212)计算当前帧图像中每个块的梯度均值和方差，再求出当前帧中每个块与其相匹配块之间的梯度均值距离和梯度方差距离，步骤为：首先计算任意块bn的梯度矩阵为：其中，表示b_n的梯度矩阵，Gx和Gy分别表示b_n的水平梯度和垂直梯度；然后，计算bn梯度的均值和方差：式中，表示b_n梯度的均值，表示b_n梯度的方差，表示矩阵中像素点(i，j)处的梯度值；最后，计算出块b_n与其匹配块之间的梯度均值距离和梯度方差距离式中，b_n‑1表示与b_n相匹配的块，表示b_n‑1的梯度的均值，表示b_n‑1的梯度的方差；(213)将当前帧中的所有块按照其与相匹配块之间的梯度均值距离和方差距离分别进行降序排列，根据预设的选取条件，选取当前帧中排序最前的N个块暂定为待定闪烁块；(22)闪烁失真区域的二次校验，包括步骤：(221)将当前帧图像与其前一帧图像由RGB空间转换到HSI颜色空间，得到两帧图像在H，S，I三个通道上的图像；计算步骤(213)提取得到的待定闪烁块及其匹配块在H，S，I三个通道上的一阶矩和二阶矩，并将每个块在H，S，I三个通道上的一阶矩和二阶矩作为元素形成该块对应的一个6元素矩阵；(222)以每个待定闪烁块为中心，取其周围大小为L×L的区域，将该区域划分为重叠的与待定闪烁块大小相同的邻域块，并计算各邻域块在H，S，I三个通道上的一阶矩和二阶矩，得到各邻域块的6元素矩阵；(223)计算每个待定闪烁块的6元素矩阵与其邻域块的6元素矩阵之间的平均相似性，根据预先设置的相似性最高阈值，挑选出小于平均相似性最高阈值的待定闪烁块为真正的闪烁块；计算平均相似性步骤为：定义任意一个待定闪烁块为b_n，b_n的6元素矩阵为定义b_n的一个邻域块为b_ne，b_ne的6元素矩阵为和之间的相似度矩阵S为：式中，c是一个接近于零的正数，目的是保证分母不为0；计算待定闪烁块b_n与其邻域块之间的平均相似性SI为：式中，S(i，j)表示相似性矩阵S在待定闪烁块b_n中像素点(i，j)处的相似性值；(3)将步骤(2)选出的真正的闪烁块与其在前一帧中相匹配的块进行奇异值分解，得到闪烁块和其匹配块的奇异值矩阵；然后对闪烁块和其匹配块的奇异值矩阵进行归一化，并计算闪烁块与其匹配块归一化后的奇异值均值的距离，将其作为闪烁块的闪烁失真强度；将闪烁块的失真强度求出来，将闪烁块的失真强度的F范数作为该闪烁块的质量分数；其中，计算闪烁失真强度的步骤为：定义任意一闪烁块b_n的奇异值矩阵的归一化结果为A_n′，闪烁块b_n的匹配块的奇异值矩阵的归一化结果为A_{n_1}′，则计算闪烁块b_n的失真强度为：(4)将当前帧图像中所有闪烁块的质量分数之和作为当前帧的质量分数；(5)计算出待评价的虚拟视角合成视频中所有帧的质量分数，将所有质量分数求和后求平均值，并将求得的平均值作为待评价的虚拟视角合成视频的最终质量分数。