[发明专利]基于局部三元模式的无参考立体图像客观质量评价方法

摘要

本发明公开了一种基于局部三元模式的无参考立体图像客观质量评价方法，其先对待评价的失真的立体图像的左、右视点图像实施高斯梯度滤波，得到各自的幅值图像和相位图像，计算左、右视点图像之间的视差图像；根据幅值图像和相位图像及视差图像，计算左右视点特征融合图像；采用局部三元模式操作对左右视点特征融合图像进行处理，得到其局部三元模式的上、下模式图像；采用直方图统计方法对上、下模式图像进行统计操作，对应得到上模式图像直方图统计特征向量和下模式图像直方图统计特征向量；根据直方图统计特征向量，采用支持向量回归预测得到客观质量评价预测值；优点是能够有效地提高客观评价结果与主观感知之间的相关性。

主权项

一种基于局部三元模式的无参考立体图像客观质量评价方法，其特征在于其处理过程为：首先，对待评价的失真的立体图像的左视点图像和右视点图像分别实施高斯梯度滤波，得到各自的幅值图像和相位图像，并计算待评价的失真的立体图像的左视点图像与右视点图像之间的视差图像；其次，根据待评价的失真的立体图像的左视点图像和右视点图像各自的幅值图像和相位图像，及左视点图像与右视点图像之间的视差图像，计算待评价的失真的立体图像的左右视点特征融合图像；接着，采用局部三元模式操作对待评价的失真的立体图像的左右视点特征融合图像进行处理，得到其局部三元模式的上模式图像和下模式图像；之后，采用直方图统计方法分别对上模式图像和下模式图像进行统计操作，对应得到待评价的失真的立体图像的上模式图像直方图统计特征向量和下模式图像直方图统计特征向量；最后，根据待评价的失真的立体图像的上模式图像直方图统计特征向量和下模式图像直方图统计特征向量，采用支持向量回归预测得到待评价的失真的立体图像的客观质量评价预测值；该无参考立体图像客观质量评价方法包括以下步骤：①令Sdis表示待评价的失真的立体图像，将Sdis的左视点图像记为{Ldis(x,y)}，将Sdis的右视点图像记为{Rdis(x,y)}，其中，1≤x≤W,1≤y≤H，W表示Sdis的宽度，H表示Sdis的高度，Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值，Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值；②对{Ldis(x,y)}实施高斯梯度滤波，得到{Ldis(x,y)}的幅值图像和相位图像，对应记为{GL_dis(x,y)}和{PL_dis(x,y)}；同样，对{Rdis(x,y)}实施高斯梯度滤波，得到{Rdis(x,y)}的幅值图像和相位图像，对应记为{GR_dis(x,y)}和{PR_dis(x,y)}；其中，GL_dis(x,y)表示{GL_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，PL_dis(x,y)表示{PL_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，GR_dis(x,y)表示{GR_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，PR_dis(x,y)表示{PR_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；③采用块匹配方法计算{Ldis(x,y)}与{Rdis(x,y)}之间的视差图像，记为{ddis(x,y)}，其中，ddis(x,y)表示{ddis(x,y)}中坐标位置为(x,y)的像素点的像素值；④根据{GL_dis(x,y)}和{PL_dis(x,y)}、{GR_dis(x,y)}和{PR_dis(x,y)}、{ddis(x,y)}，计算Sdis的左右视点特征融合图像，记为{Fdis(x,y)}，将{Fdis(x,y)}中坐标位置为(x,y)的像素点的像素值记为Fdis(x,y)，，其中，GR_dis(x+ddis(x,y),y)表示{GR_dis(x,y)}中坐标位置为(x+ddis(x,y),y)的像素点的像素值，PR_dis(x+ddis(x,y),y)表示{PR_dis(x,y)}中坐标位置为(x+ddis(x,y),y)的像素点的像素值，cos()为取余弦函数；⑤采用局部三元模式操作对{Fdis(x,y)}进行处理，得到{Fdis(x,y)}的局部三元模式的上模式图像和下模式图像，对应记为{LTPU(x,y)}和{LTPD(x,y)}，其中，LTPU(x,y)表示{LTPU(x,y)}中坐标位置为(x,y)的像素点的像素值，LTPD(x,y)表示{LTPD(x,y)}中坐标位置为(x,y)的像素点的像素值；⑥采用直方图统计方法对{LTPU(x,y)}进行统计操作，得到Sdis的上模式图像直方图统计特征向量，记为{HU(m)}；同样，采用直方图统计方法对{LTPD(x,y)}进行统计操作，得到Sdis的下模式图像直方图统计特征向量，记为{HD(m)}；其中，{HU(m)}的维数为1×m'维，HU(m)表示{HU(m)}中的第m个元素，{HD(m)}的维数为1×m'维，HD(m)表示{HD(m)}中的第m个元素，1≤m≤m'，m′＝P+2，P表示局部三元模式操作中的领域参数；⑦采用n”幅原始的无失真的立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真立体图像；然后利用主观质量评价方法评价出该失真立体图像集合中的每幅失真立体图像的主观评分，将该失真立体图像集合中的第j幅失真立体图像的主观评分记为DMOSj；再按照步骤①至步骤⑥的操作，以相同的方式获取该失真立体图像集合中的每幅失真立体图像的上模式图像直方图统计特征向量和下模式图像直方图统计特征向量，将该失真立体图像集合中的第j幅失真立体图像的上模式图像直方图统计特征向量和下模式图像直方图统计特征向量对应记为{HU,j(m)}和{HD,j(m)}；其中，n”>1，j的初始值为1，1≤j≤N'，N'表示该失真立体图像集合中包含的失真立体图像的总幅数，0≤DMOSj≤100，{HU,j(m)}和{HD,j(m)}的维数均为1×m'维，HU,j(m)表示{HU,j(m)}中的第m个元素，HD,j(m)表示{HD,j(m)}中的第m个元素，1≤m≤m'，m′＝P+2，P表示局部三元模式操作中的领域参数；⑧将该失真图像集合作为训练集；然后利用支持向量回归对训练集中的所有失真立体图像的主观评分及上模式图像直方图统计特征向量和下模式图像直方图统计特征向量进行训练，使得经过训练得到的回归函数值与主观评分之间的误差最小，拟合得到最优的权值矢量Wopt和最优的偏置项bopt；接着利用Wopt和bopt构造得到支持向量回归训练模型；再根据支持向量回归训练模型，对Sdis的上模式图像直方图统计特征向量{HU(m)}和下模式图像直方图统计特征向量{HD(m)}进行测试，预测得到Sdis的客观质量评价预测值，记为Q，Q＝f(x)，其中，Q是x的函数，f()为函数表示形式，x为输入，x表示Sdis的上模式图像直方图统计特征向量{HU(m)}和下模式图像直方图统计特征向量{HD(m)}，(Wopt)T为Wopt的转置矢量，为x的线性函数。