[发明专利]基于融合图像和强化图像的无参考立体图像质量评价方法

摘要

基于融合图像和强化图像的无参考立体图像质量评价方法，首先基于人类视觉系统的双目融合、双目竞争、双目抑制等特性，将立体图像的左右视点进行红、绿、蓝三通道的融合，得到彩色融合图像；其次，使用立体匹配算法得到失真立体图像对的视差图，将视差图的梯度权重对彩色融合图像的灰度图进行加权；再次，根据融合图像和视差图生成强化图像；然后，对融合图像和强化图像在空间域提取自然统计特征，对视差图提取峰度和偏度特征；最后，对所提特征进行融合并将融合后的特征送入支持向量回归(support vector regression,SVR)中得到待评价立体图像的质量。

主权项

1.基于融合图像和强化图像的无参考立体图像质量评价方法，其特征在于：具体内容为：一. 彩色融合图像的获取首先模拟人眼特性在红、绿、蓝三个通道上进行Gabor滤波；其次，增益控制理论说明左眼将输入信号的对比能量成比例地对右眼施加增益控制；并对来自右眼的增益控制施加增益控制，称为增益增强；右眼同样对左眼施加增益控制和增益增强；然后，根据总对比能量对左右视图分别生成权重，将权重赋给左右视图，最终求和得到彩色融合图像，详细过程如下：1、Gabor滤波器模拟感受野 ：其中， 和 分别代表左右视点；代表左或右视图在每个空间位置的强度值；是每张图像与带有空间频率 和角度的Gabor滤波器卷积得出的响应，其中有6个尺度，有8个方向，上角标代表特征图的数量，一共可得到48个特征图；代表每个响应的幅度，代表每个响应的相位；2、增益控制和增益增强：立体图像的左视图和右视图经过Gabor滤波器得到不同尺度、不同方向的共计48幅特征图，将这48幅特征图按照平均亮度值的升序进行排列，得到集合 ；通过式（2）和（3）得到增益增强和增益控制：3、总对比能量：将对比敏感度函数作用于特征图  以得到，如式(4)，其中，通过式（5）计算权重，然后通过式（6）得到增益控制的总对比能量  和增益增强的总对比能量  ；4、左右图像融合过程：图像融合过程是在彩色图像红、绿、蓝三个通道进行的，其中， 为左视图的权重， 为右视图权重，最后的融合图像由公式（9）得出： 代表R、G、B通道， 代表通道的融合图像，经过三通道融合之后可得到彩色融合图像  ；二. 视差图及视差梯度权重的获取：使用基于结构相似性的立体匹配算法处理失真立体图像对，获取视差图；然后利用统计方法计算出视差图的峰度和偏度；用视差梯度生成的权重对经过归一化的融合图像进行加权，从而对视觉的显著性进行预测，视差梯度权重的生成如式（10），其中 代表视差图的梯度幅值：三. 强化图像的获取：采用相乘方式，将视差补偿作用在融合图像上，并将融合图像和视差补偿后的融合图像相乘形成强化图像，强化图像能够突出图片的纹理；强化图像计算方法为式（11），其中，代表强化图像；代表融合图像的灰度图； 代表水平视差；代表图像的空间坐标；四. 图像的归一化及特征提取：1、图像的归一化：对融合图像及其强化图像分别进行减均值对比度归一化（mean subtracted contrast normalized，MSCN）操作，这种归一化不仅可以去除图像局部相关性，而且使得图像的亮度值倾向于高斯分布；计算减均值对比度归一化系数如公式（12），得到融合图像的MSCN系数可以进一步对融合图像加权如式(15)：其中，为融合图像或强化图像的灰度图，分别代表图像的高度和宽度；为一个常数；代表局部均值；代表局部方差；是一个采样到3个标准偏差的圆对称高斯加权函数，，高斯滤波的窗口设置为  ；2、拟合高斯模型提取特征：高斯模型来捕捉自然场景中统计特征在空间域的变化规律，并用于平面图像质量评价，自然场景统计特征对于模拟人类视觉系统有非常重要的作用；将这两种高斯模型应用在立体图像质量评价中，取得良好结果；为了捕捉不同失真类型情况下的差异，将加权图像和强化图像分别在两个尺度下通过拟合广义高斯分布（generalized Gaussian distribution，GGD）和非对称广义高斯分布（asymmetric generalized Gaussian distribution , AGGD)来提取特征,其过程可以分为两个阶段：第一阶段，使用GGD模型来拟合加权图像和强化图像的MSCN系数的分布，GGD模型可以用来有效地捕捉失真图像的统计特征，零均值的GGD模型计算方法为：其中，是伽马函数，零均值的GGD模型使得MSCN系数分布大致是对称的， 控制高斯分布的大致形状， 代表方差，可控制形状变化的程度，所以用这两个参数  来捕捉图像的信息，作为第一阶段的特征；第二阶段，将AGGD模型来拟合图像中相邻元素两两相乘的MSCN系数，将加权图像和强化图像分别沿着四个方向进行拟合——水平方向H，垂直方向V，主对角线方向D1，次对角线方向D2；这四个方向的图像计算方法如下：常用AGGD模型如下：其中，形状参数 控制分布的形状，为AGGD模型的均值，尺度参数、分别控制左侧和右侧的分布情况，将  这四个参数作为AGGD提取的特征，四个方向共16个特征；3、提取视差图的峰度和偏度：图像的不同失真都以其特有的方式修改统计数据，峰度能够描述图像平坦或者突兀程度，偏度能够描述图像的扭曲性，利用峰度和偏度来捕获视差图在不同失真情况下的统计特性，见式(27)：和 分别代表视差图的峰度和偏度，代表视差图，是视差图的均值；五. 特征融合及SVR：由于图像在不同尺度下会表现出不同的特性，利用GDD和AGDD模型基于不同尺度对加权融合图像和强化图像进行特征提取，可以获得72个特征；加之视差图的峰度和偏度特征，构成74个特征；随后将所得74个特征进行融合送入SVR与主观评测值进行拟合；其中，非线性回归函数使用logistic函数，SVR的核函数使用径向基函数。