[发明专利]基于稀疏双目融合卷积神经网络的立体图像质量评价方法

说明书

本发明公开了一种基于稀疏双目融合卷积神经网络的立体图像质量评价方法，包括如下步骤：S1、构建基于双目融合卷积神经网络的立体图像质量评价网络，网络包含左右分支和融合分支；S2、在双目融合卷积神经网络的每一层施加结构化稀疏约束，网络优化的目标函数如公式(1)所示：本专利的立体图像质量评价方法更加准确高效，更贴合人眼感知质量，运算速度更快，在一定程度上推动立体成像技术的发展。

技术领域

本发明属于图像处理领域，涉及到立体图像质量评价方法的改进优化，以及立体图像质 量评价卷积神经网络的计算速度的优化，尤其涉及一种基于稀疏双目融合卷积神经网络的立 体图像质量评价方法。

背景技术

由于观看降质的立体图像会造成视觉疲劳和晕眩，立体图像质量评价成为了亟待解决的 事情[1]。立体图像质量评价要考虑深度信息、视差信息和双目竞争等因素，相比平面图像质 量评价，立体图像质量评价更具有挑战性。通常立体图像质量评价可分为主观和客观评价两 种方法。然而主观评价方法费事费力，因此立体图像客观质量评价成为一个研究的热点问题 [2]。

一般来说，立体图像质量客观评价可以分为传统的基于特征提取的方法[3-4]、基于稀疏 表示的方法[5-9]和基于深度学习的方法[10-13]。稀疏表示模拟了人类视觉系统的感知机制， 它可以将图像中大部分像素表示为零，去除冗余信息。因此，一些人使用基于稀疏表示的方 法来评价立体图像的质量。例如，文献[5]对立体图像的左视图和右视图的结构和纹理特征进 行了稀疏表示，分别计算了左视图和右视图的稀疏特征相似性指标，并将它们结合起来得到 最终的质量分数。文献[6]联合稀疏表示DOG、HOG和LBP特征，并使用支持向量回归得到 立体图像的质量分数。在[7]中，Lin等人将融合图像幅度图和融合图像相位图进行稀疏表示， 并采用支持向量机回归。M等人稀疏表示了融合图像对比度图和融合图像相位图，并采用支 持向量机回归得到立体图像质量分数[8]。在文献[9]中，Yang等人提出了一种基于学习梯度字 典的彩色视觉特征的无参考立体图像质量评价方法。并将特征输入到训练后的支持向量机模 型中，进行质量分数的预测。由于深度学习网络模拟了大脑分层处理图像的过程，近年来， 许多人使用深度学习模型来评价立体图像的质量。例如，文献[10]提取了立体图像的自然场 景统计特征，并采用得到的特征对DBN进行训练，得到立体图像质量分数。在文献[11]中， Ding等人提出了一种基于卷积神经网络(CNN)的无参考立体图像质量评价方法。将CNN 网络提取的特征和视差特征通过支持向量机回归，得到立体图像的客观质量分数。在文献[12] 中，LV等人提出了一种基于双目自相似度和深度神经网络(DNN)的立体图像质量评价方 法。在文献[13]中，Sang等人通过主成分分析(PCA)融合了立体图像的左右视图。然后采 用融合图像训练CNN网络，得到立体图像质量分数。