[发明专利]结合流形特征及双目特性的立体图像质量客观评价方法

摘要

本发明公开了一种结合流形特征及双目特性的立体图像质量客观评价方法，其从人眼以流形方式感知的基础出发使用正交局部保持投影算法从自然场景平面图像上获取降维以及白化操作后的矩阵进行训练获得最佳映射矩阵；为了提高评价的准确性和稳定性去除对于视觉感知不重要的图像块，在完成选块后利用最佳映射矩阵提取选取出的图像块的流形特征向量，然后通过流形特征相似度来衡量失真图像的结构失真；并考虑图像亮度变化对人眼的影响，基于图像块的均值求失真图像的亮度失真；在获得流形相似度和亮度相似度后，采用双目竞争模型对左、右视点图像各自的质量值进行线性加权得到失真立体图像的质量值，评价结果与人眼的主观感知评价结果具有较高的一致性。

主权项

1.一种结合流形特征及双目特性的立体图像质量客观评价方法，其特征在于包括以下步骤：①选取多幅无失真自然场景平面图像，并提取每幅无失真自然场景平面图像的亮度分量；然后将每幅无失真自然场景平面图像的亮度分量划分成互不重叠的尺寸大小为8×8的图像块；接着从所有无失真自然场景平面图像的亮度分量中的所有图像块中随机选取N个图像块，将选取的每个图像块作为一个训练样本，将第i个训练样本记为xi，其中，5000≤N≤20000，1≤i≤N；再将每个训练样本中的所有像素点的像素值排列构成一个灰度向量，将xi中的所有像素点的像素值排列构成的灰度向量记为xicol，其中，xicol的维数为64×1，xicol中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描xi获得的每个像素点的像素值；之后将每个训练样本对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对每个训练样本对应的灰度向量的中心化处理，将x_i^col经中心化处理后得到的灰度向量记为最后将所有中心化处理后得到的灰度向量组成的矩阵记为X，其中，X的维数为64×N，对应表示第1个训练样本中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、第2个训练样本中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、第N个训练样本中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，符号“[]”为向量表示符号；②利用主成分分析对X进行降维以及白化操作，将降维以及白化操作后得到的矩阵记为XW，其中，XW的维数为M×N，M为设定的低维维数，1＜M＜64；③利用正交局部保持投影算法对XW中的N个列向量进行训练，获得XW的8个正交基的最佳映射矩阵，记为JW，其中，JW的维数为8×M；然后根据JW和白化矩阵计算原始样本空间的最佳映射矩阵，记为J，J＝JW×W，其中，J的维数为8×64，W表示白化矩阵，W的维数为M×64；④令I_org表示宽度为W′且高度为H′的原始的无失真自然场景立体图像，将I_org的左视点图像和右视点图像对应记为和并提取和各自的亮度分量；令I_dis表示I_org经失真后的失真立体图像，将I_dis作为待评价的失真立体图像，将I_dis的左视点图像和右视点图像对应记为和并提取和各自的亮度分量；然后将和各自的亮度分量及和各自的亮度分量分别划分成个互不重叠的尺寸大小为8×8的图像块，将的亮度分量中的第j个图像块记为将的亮度分量中的第j个图像块记为将的亮度分量中的第j个图像块记为将的亮度分量中的第j个图像块记为其中，符号为向下取整符号，1≤j≤N′，再将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记为将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记为将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记为将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记为其中，和和的维数均为64×1，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描获得的每个像素点的像素值，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描获得的每个像素点的像素值，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描获得的每个像素点的像素值，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描获得的每个像素点的像素值；之后将的亮度分量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对的亮度分量中的每个图像块对应的灰度向量的中心化处理，将经中心化处理后得到的灰度向量记为并将的亮度分量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对的亮度分量中的每个图像块对应的灰度向量的中心化处理，将经中心化处理后得到的灰度向量记为将的亮度分量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对的亮度分量中的每个图像块对应的灰度向量的中心化处理，将经中心化处理后得到的灰度向量记为将的亮度分量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对的亮度分量中的每个图像块对应的灰度向量的中心化处理，将经中心化处理后得到的灰度向量记为最后将的亮度分量对应的所有中心化处理后得到的灰度向量组成的矩阵记为X^ref，L，并将的亮度分量对应的所有中心化处理后得到的灰度向量组成的矩阵记为X^ref，R，将的亮度分量对应的所有中心化处理后得到的灰度向量组成的矩阵记为X^dis，L，将的亮度分量对应的所有中心化处理后得到的灰度向量组成的矩阵记为X^dis，R，其中，X^ref，L和X^ref，R、X^dis，L和X^dis，R的维数均为64×N′，对应表示的亮度分量中的第1个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、的亮度分量中的第2个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、的亮度分量中的第N′个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，对应表示的亮度分量中的第1个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、的亮度分量中的第2个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、的亮度分量中的第N′个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，对应表示的亮度分量中的第1个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、的亮度分量中的第2个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、的亮度分量中的第N′个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，对应表示的亮度分量中的第1个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、的亮度分量中的第2个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、的亮度分量中的第N′个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，符号“[]”为向量表示符号；⑤计算X^ref，L中的每个列向量与X^dis，L中对应列向量之间的结构差异，将与之间的结构差异记为并计算X^ref，R中的每个列向量与X^dis，R中对应列向量之间的结构差异，将与之间的结构差异记为然后将X^ref，L和X^dis，L对应的N′个结构差异按序排列构成一个维数为1×N′维的向量，记为v^L；并将X^ref，R和X^dis，R对应的N′个结构差异按序排列构成一个维数为1×N′维的向量，记为v^R；其中，v^L中的第j个元素的值为v^R中的第j个元素的值为接着获取无失真左视点图像块集合和失真左视点图像块集合及无失真右视点图像块集合和失真右视点图像块集合，具体过程为：a1、设计一个左视点图像块选取阈值TH₁和一个右视点图像块选取阈值TH₂；a2、从v^L中提取出所有值大于或等于TH₁的元素，并从v^R中提取出所有值大于或等于TH₂的元素；a3、将的亮度分量中与从v^L中提取出的元素对应的图像块构成的集合作为无失真左视点图像块集合，记为Y^ref，L，并将的亮度分量中与从v^L中提取出的元素对应的图像块构成的集合作为失真左视点图像块集合，记为Y^dis，L，将的亮度分量中与从v^R中提取出的元素对应的图像块构成的集合作为无失真右视点图像块集合，记为Y^ref，R，将的亮度分量中与从v^R中提取出的元素对应的图像块构成的集合作为失真右视点图像块集合，记为Y^dis，R，⑥计算Y^ref，L中的每个图像块的流形特征向量，将Y^ref，L中的第t个图像块的流形特征向量记为r_t^ref，L，并计算Y^dis，L中的每个图像块的流形特征向量，将Y^dis，L中的第t个图像块的流形特征向量记为计算Y^ref，R中的每个图像块的流形特征向量，将Y^ref，R中的第t′个图像块的流形特征向量记为计算Y^dis，R中的每个图像块的流形特征向量，将Y^dis，R中的第t′个图像块的流形特征向量记为其中，1≤t≤K，K表示Y^ref，L中包含的图像块的总个数，也即Y^dis，L中包含的图像块的总个数，1≤t′≤K′，K′表示Y^ref，R中包含的图像块的总个数，也即Y^dis，R中包含的图像块的总个数，r_t^ref，L、的维数均为8×1，表示Y^ref，L中的第t个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，表示Y^dis，L中的第t个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，表示Y^ref，R中的第t′个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，表示Y^dis，R中的第t′个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量；然后将Y^ref，L中的所有图像块的流形特征向量组成一个矩阵，记为R^L；并将Y^dis，L中的所有图像块的流形特征向量组成一个矩阵，记为D^L；将Y^ref，R中的所有图像块的流形特征向量组成一个矩阵，记为R^R；并将Y^dis，R中的所有图像块的流形特征向量组成一个矩阵，记为D^R；其中，R^L和D^L的维数均为8×K，R^R和D^R的维数均为8×K′，R^L中的第t个列向量为r_t^ref，L，D^L中的第t个列向量为R^R中的第t′个列向量为D^R中的第t′个列向量为再计算的亮度分量与的亮度分量的流形特征相似度，记为计算的亮度分量与的亮度分量的流形特征相似度，记为其中，表示R^L中第m行第t列的值，表示D^L中第m行第t列的值，表示R^R中第m行第t′列的值，表示D^R中第m行第t′列的值，C₁为一个用于保证结果稳定性的很小的常量；⑦计算的亮度分量与的亮度分量的亮度相似度，记为计算的亮度分量与的亮度分量的亮度相似度，记为其中，表示Y^ref，L中的第t个图像块中的所有像素点的像素值的平均值，表示Y^dis，L中的第t个图像块中的所有像素点的像素值的平均值，表示Y^ref，R中的第t′个图像块中的所有像素点的像素值的平均值，表示Y^dis，R中的第t′个图像块中的所有像素点的像素值的平均值，C₂为一个很小的常量；⑧对和进行幂指数加权得到的质量分数，记为MFS^L，对和进行幂指数加权得到的质量分数，记为MFS^R，其中，α用于调节和的相对重要性，B用于调节和的相对重要性，α+B＝1；⑨利用双目竞争模型求取的加权值和的加权值，对应记为ω^L和ω^R；然后利用ω^L对MFS^L进行加权，利用ω^R对MFS^R进行加权，得到I_dis的质量值，记为Q，Q＝ω^L×MFS^L+ω^R×MFS^R，其中，ω^L用于调节MFS^L的相对重要性，ω^R用于调节MFS^R的相对重要性，ω^L+ω^R＝1；所述的步骤⑨中的ωL和ωR的获取过程为：⑨‑1、采用尺寸大小为Q×Q的滑动窗口，在中逐像素点滑动，将划分成个重叠的尺寸大小为Q×Q的图像块，将中的第p个图像块记为同样，采用尺寸大小为Q×Q的滑动窗口，在中逐像素点滑动，将划分成个重叠的尺寸大小为Q×Q的图像块，将中的第p个图像块记为采用尺寸大小为Q×Q的滑动窗口，在中逐像素点滑动，将划分成个重叠的尺寸大小为Q×Q的图像块，将中的第p个图像块记为采用尺寸大小为Q×Q的滑动窗口，在中逐像素点滑动，将划分成个重叠的尺寸大小为Q×Q的图像块，将中的第p个图像块记为其中，9≤Q≤37且Q为奇数，⑨‑2、采用高斯低通滤波函数，并设置所需的卷积模板的尺寸大小为Q×Q，且标准差为ζ，得到卷积模板，其中，3≤ζ≤6；然后对卷积模板中的每个元素的值进行归一化处理，得到归一化处理后的卷积模板，其中，对于卷积模板中的任一个元素的值，其除以卷积模板中的所有元素的值的和得到该元素对应的归一化处理后的值；⑨‑3、利用归一化处理后的卷积模板，获取中的每个图像块中的所有像素点的像素值的加权平均值，将中的所有像素点的像素值的加权平均值记为同样，利用归一化处理后的卷积模板，获取中的每个图像块中的所有像素点的像素值的加权平均值，将中的所有像素点的像素值的加权平均值记为利用归一化处理后的卷积模板，获取中的每个图像块中的所有像素点的像素值的加权平均值，将中的所有像素点的像素值的加权平均值记为利用归一化处理后的卷积模板，获取中的每个图像块中的所有像素点的像素值的加权平均值，将中的所有像素点的像素值的加权平均值记为其中，1≤u≤Q，1≤v≤Q，Mode(u，v)表示归一化处理后的卷积模板中下标为(u，v)的元素的值，表示中坐标位置为(u，v)的像素点的像素值，表示中坐标位置为(u，v)的像素点的像素值，表示中坐标位置为(u，v)的像素点的像素值，表示中坐标位置为(u，v)的像素点的像素值；⑨‑4、根据中的每个图像块中的所有像素点的像素值的加权平均值，计算中的每个图像块中的所有像素点的像素值的方差，作为方差能量；同样，根据中的每个图像块中的所有像素点的像素值的加权平均值，计算中的每个图像块中的所有像素点的像素值的方差，作为方差能量；根据中的每个图像块中的所有像素点的像素值的加权平均值，计算中的每个图像块中的所有像素点的像素值的方差，作为方差能量；根据中的每个图像块中的所有像素点的像素值的加权平均值，计算中的每个图像块中的所有像素点的像素值的方差，作为方差能量；⑨‑5、根据中的所有图像块各自对应的方差能量，获取的能量图，记为E^ref，r；同样，根据中的所有图像块各自对应的方差能量，获取的能量图，记为E^dis，L；根据中的所有图像块各自对应的方差能量，获取的能量图，记为E^ref，R；根据中的所有图像块各自对应的方差能量，获取的能量图，记为E^dis，R；其中，E^ref，L、E^dis，L、E^ref，R和E^dis，R的宽度均为且高度均为E^ref，L中的第p个像素点的像素值E^ref，L(p)为中的第p个图像块对应的方差能量，E^dis，L中的第p个像素点的像素值E^dis，L(p)为中的第p个图像块对应的方差能量，E^ref，R中的第p个像素点的像素值E^ref，R(p)为中的第p个图像块对应的方差能量，E^dis，R中的第p个像素点的像素值E^dis，R(p)为中的第p个图像块对应的方差能量；⑨‑6、计算左视点图像的局部能量比率图，记为Ratio^L，将Ratio^L中的第p个像素点的像素值记为Ratio^L(p)，并计算右视点图像的局部能量比率图，记为Ratio^R，将Ratio^R中的第p个像素点的像素值记为Ratio^R(p)，其中，Ratio^L和Ratio^R的宽度均为且高度均为⑨‑7、计算ω^L，并计算ω^R，其中，