[发明专利]基于视觉显著图像特征增强的全参考立体图像质量客观评价方法

摘要

本发明公开了一种基于视觉显著图像特征增强的全参考立体图像质量客观评价方法。首先，将立体图像从RGB颜色空间转换成YIQ颜色空间，从Y通道中提取亮度成分，得到视差图以及视觉显著性图，然后对Y通道的左右视图进行图像融合得到中间图像,进而提取视觉显著增强的边缘/纹理以及深度信息特征，进行相似性度量，得到相应的度量指标。其次，从立体图像的I和Q通道提取相应的色彩信息特征，进行双目融合和相似性度量，得到视觉显著增强的色彩信息的度量指标。最后将所有的度量指标进行支持向量回归训练预测，得到客观质量分数。实验表明本发明所提出的立体图像质量客观评价与主观评价具有很好的一致性，且性能优于大部分已有的立体图像质量评价方法。

主权项

1.一种基于视觉显著图像特征增强的全参考立体图像质量客观评价方法，其特征在于包括以下步骤：步骤(1).输入参考立体图像对和失真立体图像对，其中每个立体图像对分别包括左视图和右视图图像；步骤(2).对步骤(1)中的立体图像对的色彩空间进行转换，从RGB色彩空间转化为YIQ色彩空间，其中Y通道表明图像的灰度成分，I和Q表示图像的色彩成分；具体的转换公式如下所示：步骤(3).构建Log Gabor滤波器模型，对步骤(2)中通过Y通道得到的灰度立体图像对进行卷积运算处理，分别得到参考和失真立体图像对中左右视图的能量响应图；Log Gabor滤波器hLG的表达式如下：其中，f0和θ0表示Log Gabor滤波器的中心频率和方位角，σθ和σf分别代表滤波器的方位角带宽和径向带宽，f和θ分别代表滤波器的径向坐标和方位角；将Log Gabor滤波器与参考和失真立体图像对中左右视图进行卷积后，得到相应的能量响应图F(x,y)，表达式如下：其中，I(x,y)为参考和失真立体图像对灰度成分的左视图或右视图，为卷积运算；步骤(4).对步骤(2)得到的灰度参考立体图像对和失真立体图像对分别提取视差图Dref(x,y)和Ddis(x,y)，对步骤(2)得到的灰度参考立体图像对的左右视图利用基于谱残差的显著性模型分别提取左右显著性图SLsr(x,y)和SRsr(x,y)；步骤(5).构建3D视觉显著性图S3D(x,y)，具体的表达式如下：S3D(x,y)＝ω1×SLsr(x,y)+ω2×SRsr(x,y)+ω3×CB(x,y)+ω4×Dref(x,y)  (5‑2)其中ω1‑ω4为不同的权重因子，CB(x,y)表示中心点偏移机制；步骤(6).将步骤(2)得到的灰度立体图像对的右视图按照步骤(4)中获得的视差图的视差值进行像素点的水平右移，构造和左视图像素坐标对应的校准右视图IR((x+d),y)，然后基于步骤(3)所述的Log Gabor滤波器模型可以得到左视图和校准右视图的能量响应图，计算归一化的左视图权重图WL(x,y)和校准右视图权重图WR((x+d),y),具体表达式如下：其中，FL(x,y)和FR((x+d),y)分别为步骤(3)得到的左视图和校准右视图的能量响应图，d为步骤(4)计算得到的视差图Dref(x,y)中对应坐标的视差值；步骤(7).基于步骤(2)中的灰度参考和失真立体图像对的左视图和步骤(6)得到的参考和失真立体图像对的校准右视图以及归一化的左视图权重图和校准右视图权重图，利用双目视图融合模型实现对立体图像的图像融合，分别得到参考的和失真的中间图像；双目视图融合的公式如下：CI(x,y)＝WL(x,y)×IL(x,y)+WR((x+d),y)×IR((x+d),y)     (7‑1)其中，CI(x,y)即是双目视图融合后的中间图像，IL(x,y)和IR((x+d),y)分别为灰度立体图像对的左视图和校准右视图；步骤(8).对步骤(7)得到的中间灰度参考和失真图像分别提取边缘和纹理特征；边缘信息特征的提取：将Sobel算子与被测图像进行卷积处理，得到包含边缘轮廓信息的梯度图，利用Sobel算子提取中间参考和失真图像的边缘信息特征的表达式如下：其中，f(x,y)为立体图像对的左/右视图，为卷积运算，G_x和G_y是3×3的Sobel水平模板和垂直模板，分别用来检测图像的水平边缘和垂直边缘，模板表达式如下：纹理信息特征的提取：采用局部二值模式LBP，LBP的表达式如下：其中，gc是图像的中心像素点的灰度值，gp是图像的相邻像素点的灰度值，从中心像素点的正右方逆时针旋转依次为0,1,2…P，x和y代表中心像素点的坐标值，P表示相邻像素点的个数，sgn(x)是阶跃函数；步骤(9).将步骤(8)提取的中间参考和失真图像的视觉信息特征和步骤(5)建立的视觉显著性图进行逐像素点的相乘，得到视觉显著性增强的视觉信息特征，具体表达式如下：GMSR(x,y)＝GMR(x,y)*S3D(x,y) GMSD(x,y)＝GMD(x,y)*S3D(x,y)    (9‑1)TISR(x,y)＝TIR(x,y)*S3D(x,y) TISD(x,y)＝TID(x,y)*S3D(x,y)    (9‑2)其中，GMR(x,y)和TIR(x,y)分别是中间参考图像的边缘和纹理特征信息，GMD(x,y)和TID(x,y)分别是中间失真图像的边缘和纹理特征信息；S3D为步骤(5)得到的整合后的视觉显著性图；步骤(10).对步骤(9)中提取的显著性增强的视觉信息特征进行相似性度量，表达式如下：其中，GM_SR(x,y)和TI_SR(x,y)表示中间参考图像的显著性增强的边缘和纹理信息特征，GM_SD(x,y)和TI_SD(x,y)表示中间失真图像的显著性增强的边缘和纹理信息，和分别为中间参考/失真图像的显著性增强的边缘和纹理信息特征的均值，M和N表示图像的长和宽的像素点个数，Index₁和Index₂分别代表边缘和纹理信息特征的相似性度量指标；步骤(11).从步骤(2)中通过I和Q通道得到的色彩立体图像对中提取色彩信息特征，分别对色彩立体图像的左右视图进行相似性度量，得到相应通道下的色彩相似性图，表达式如下：其中，ILR(x,y)和QLR(x,y)表示参考立体图像对左视图的I通道和Q通道下的色彩信息图，ILD(x,y)和QLD(x,y)表示失真立体图像对左视图的I通道和Q通道下的色彩信息图，SIL(x,y)和SQL(x,y)分别表示立体图像对左视图的I通道和Q通道下的色彩相似性图，右视图的色彩相似性图得到的方法与左视图色彩相似性图一致，T1和T2为常数，防止分母为零；步骤(12).将步骤(11)得到的左右视图的色彩相似性图按照步骤(6)和(7)的融合方法进行双目融合，得到中间I通道和Q通道的色彩相似性图SI(x,y)和SQ(x,y)；步骤(13).将步骤(12)得到的中间参考和失真图像的I通道和Q通道的色彩相似性图和步骤(5)建立的立体视觉显著性图进行逐像素点的相乘，得到视觉显著性增强的色彩信息显著性图，进而得到I通道和Q通道的色彩相似性度量指标Index3和Index4，具体表达式如下：其中，M和N表示图像的长和宽的像素点个数；步骤(14).利用步骤(4)得到的参考立体图像对和失真立体图像对的视差图提取深度特征信息，并对失真立体图像对的视差图的失真程度做出度量；采用像素域误差的方法提取参考和失真立体图像对的深度特征信息的相似性，作为反应失真立体图像对在视差图上质量失真程度的指标，表达式如下：其中，Dref(x,y)代表参考图像的视差图，Ddis(x,y)代表失真图像的视差图，mean()是均值函数，Index5表示深度特征信息的相似性度量指标；步骤(15).整合步骤(10)，(13)和(14)中得到的5个视觉相关的度量指标Index1‑Index5，进行支持向量回归(SVR)进行训练预测，获得最佳预测模型，并映射为图像质量的客观评价分数。