[发明专利]基于堆栈式自动编码器的立体图像质量评价方法

摘要

本发明涉及一种基于堆栈式自动编码器的立体图像质量评价方法，步骤如下：利用左右视图合成单眼图；将左右视图转化为互不相关的双眼融合图和双眼差值图；计算单眼图IC的MSCN系数以及单眼图在水平H、竖直V、主对角线D1和次对角线D2四个方向的MSCN邻域系数；从单眼图中提取初级特征向量；提取双眼融合图的初级特征向量；按照相同的方法对双眼差值图提取特征；训练堆栈式自动编码器，获得深层特征；训练对应支持向量回归机；得到立体图像质量分数。本发明提高了客观评价方法准确率。

主权项

1.一种基于堆栈式自动编码器的立体图像质量评价方法，步骤如下：第一步：利用左右视图合成单眼图IC；第二步：将左右视图转化为互不相关的双眼融合图和双眼差值图；第三步：提取单眼图的初级特征向量(1)计算单眼图I_C的MSCN系数以及单眼图在水平H、竖直V、主对角线D₁和次对角线D₂四个方向的MSCN邻域系数；(2)提取单眼图在水平、竖直、主对角线、次对角线这4个方向的MSCN邻域系数，定义为：(3)利用非对称广义高斯分布模型AGGD拟合单眼图的MSCN系数直方图以及单眼图的水平、竖直、主对角线、次对角线这四个方向的MSCN邻域系数直方图；将上述5个AGGD模型的均值、方差、形状参数、尺寸参数作为单眼图的特征，提取出20个特征；利用韦伯分布拟合单眼图的梯度幅度，提取韦伯分布的形状参数和尺寸参数作为单眼图的2个特征；此外，对单眼图进行DCT变化，提取DCT域中的块、锐度、平滑度、峰度和詹森香农散度JSD这5个特征，从单眼图中提取27维初级特征向量第四步：提取双眼融合图的初级特征向量(1)将双眼融合图的梯度幅值图GM与拉普拉斯变换图LOG进行联合自适应归一化JAN，然后将归一化后的梯度幅度图和拉普拉斯变换图分别量化为M级和N级，并计算量化后的两类图的边缘概率密度PGM、PLOG和独立分布QGM、QLOG，此处M＝N＝5，故提取出20个特征；(2)利用可控金字塔在2级尺寸、θ∈{0°，30°，60°，90°，120°，150°}的6个方向对双眼融合图执行小波分解；分别利用6个广义高斯分布GGD拟合6个方向，每个方向有2级尺寸的小波系数，取GGD的形状参数作为双目融合图的特征，获得6个特征；将所有尺寸、所有方向的小波系数用一个GGD拟合，提取该GGD的形状参数，作为双目融合图的1个特征；共双眼融合图中提取27维特征向量第五步：按照相同的方法对双眼差值图提取特征，从双眼差值图中提取27维初级特征向量第六步：训练堆栈式自动编码器选择训练数据，将左右视图的和作为样本分别训练出单眼图的堆栈式自动编码器SAE‑C、双眼融合图的堆栈式自动编码器SAE‑S和双眼差值图的堆栈式自动编码器SAE‑D；第七步：三个堆栈式自编码器将和分别编码为抽象的深层特征和其中，SAE‑C、SAE‑S和SAE‑D各层的单元数均为27‑25‑20‑15；第八步：构建训练集和测试集，利用训练集中左右视图的与相应的MOS训练对应的支持向量回归机SVR‑C；同理，利用与对应的MOS训练对应的支持向量回归机SVR‑SD；第九步：对于测试集，利用SVR‑C、SVR‑SD预测单眼图、双眼融合图/双眼差值图的质量分数，然后通过加权形成立体图像质量分数。