[发明专利]基于深度神经网络的无参考立体图像质量评价方法

摘要

本发明公开了一种基于深度神经网络的无参考立体图像质量评价方法，其采用水平视差补偿技术对失真立体图像的右视点图像进行水平视差补偿，得到水平视差补偿后的图像，再采用双目空间活动模型，结合失真立体图像的左视点图像和水平视差补偿后的图像，获得失真立体图像的合成中央眼活动图像，该合成中央眼活动图像能够很好地模拟双目显著性感知特性；其在充分利用了双目视觉感知特性的基础上，提取梯度幅值和高斯拉普拉斯特征信息，因此能有效地提高客观评价结果与主观感知之间的相关性；其采用符合人脑机理特性的深度神经网络预测得到失真立体图像的客观质量评价预测值，使客观评价值能更加准确预测失真立体图像的质量。

主权项

1.一种基于深度神经网络的无参考立体图像质量评价方法，其特征在于包括以下步骤：①令Sdis表示待评价的失真立体图像，将Sdis的左视点图像记为{Ldis(x,y)}，将Sdis的右视点图像记为{Rdis(x,y)}；其中，1≤x≤W,1≤y≤H，W表示Sdis的宽度，H表示Sdis的高度，Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值，Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值；②采用水平视差补偿技术，对{Rdis(x,y)}进行水平视差补偿，得到{Rdis(x,y)}水平视差补偿后的图像，记为{R′dis(x,y)}；然后采用双目空间活动模型，结合{Ldis(x,y)}和{R′dis(x,y)}，得到Sdis的合成中央眼活动图像，记为{Mdis(x,y)}；其中，R′dis(x,y)表示{R′dis(x,y)}中坐标位置为(x,y)的像素点的像素值，Mdis(x,y)表示{Mdis(x,y)}中坐标位置为(x,y)的像素点的像素值；采用双目产物图提取技术，对{Ldis(x,y)}和{Rdis(x,y)}进行双目产物图提取，得到Sdis的双目产物图像，记为{Pdis(x,y)}；其中，Pdis(x,y)表示{Pdis(x,y)}中坐标位置为(x,y)的像素点的像素值；③采用梯度幅值特征求取技术，分别对{Ldis(x,y)}、{Rdis(x,y)}、{Mdis(x,y)}、{Pdis(x,y)}进行梯度幅值特征提取，对应得到{Ldis(x,y)}、{Rdis(x,y)}、{Mdis(x,y)}、{Pdis(x,y)}各自的梯度幅值特征图像，对应记为{Gdis，1(x,y)}、{Gdis，2(x,y)}、{Gdis，3(x,y)}、{Gdis，4(x,y)}；并采用高斯拉普拉斯特征求取技术，分别对{Ldis(x,y)}、{Rdis(x,y)}、{Mdis(x,y)}、{Pdis(x,y)}进行高斯拉普拉斯特征提取，对应得到{Ldis(x,y)}、{Rdis(x,y)}、{Mdis(x,y)}、{Pdis(x,y)}各自的高斯拉普拉斯特征图像，对应记为{Odis，1(x,y)}、{Odis，2(x,y)}、{Odis，3(x,y)}、{Odis，4(x,y)}；其中，Gdis，1(x,y)表示{Gdis，1(x,y)}中坐标位置为(x,y)的像素点的像素值，Gdis，2(x,y)表示{Gdis，2(x,y)}中坐标位置为(x,y)的像素点的像素值，Gdis，3(x,y)表示{Gdis，3(x,y)}中坐标位置为(x,y)的像素点的像素值，Gdis，4(x,y)表示{Gdis，4(x,y)}中坐标位置为(x,y)的像素点的像素值，Odis，1(x,y)表示{Odis，1(x,y)}中坐标位置为(x,y)的像素点的像素值，Odis，2(x,y)表示{Odis，2(x,y)}中坐标位置为(x,y)的像素点的像素值，Odis，3(x,y)表示{Odis，3(x,y)}中坐标位置为(x,y)的像素点的像素值，Odis，4(x,y)表示{Odis，4(x,y)}中坐标位置为(x,y)的像素点的像素值；④采用联合自适应归一化方法，对{Gdis，1(x,y)}和{Odis，1(x,y)}进行联合自适应归一化处理，得到{Gdis，1(x,y)}和{Odis，1(x,y)}各自的归一化特征图像，对应记为{G′dis，1(x,y)}和{O′dis，1(x,y)}；同样，对{Gdis，2(x,y)}和{Odis，2(x,y)}进行联合自适应归一化处理，得到{Gdis，2(x,y)}和{Odis，2(x,y)}各自的归一化特征图像，对应记为{G′dis，2(x,y)}和{O′dis，2(x,y)}；对{Gdis，3(x,y)}和{Odis，3(x,y)}进行联合自适应归一化处理，得到{Gdis，3(x,y)}和{Odis，3(x,y)}各自的归一化特征图像，对应记为{G′dis，3(x,y)}和{O′dis，3(x,y)}；对{Gdis，4(x,y)}和{Odis，4(x,y)}进行联合自适应归一化处理，得到{Gdis，4(x,y)}和{Odis，4(x,y)}各自的归一化特征图像，对应记为{G′dis，4(x,y)}和{O′dis，4(x,y)}；其中，G′dis，1(x,y)表示{G′dis，1(x,y)}中坐标位置为(x,y)的像素点的像素值，O′dis，1(x,y)表示{O′dis，1(x,y)}中坐标位置为(x,y)的像素点的像素值，G′dis，2(x,y)表示{G′dis，2(x,y)}中坐标位置为(x,y)的像素点的像素值，O′dis，2(x,y)表示{O′dis，2(x,y)}中坐标位置为(x,y)的像素点的像素值，G′dis，3(x,y)表示{G′dis，3(x,y)}中坐标位置为(x,y)的像素点的像素值，O′dis，3(x,y)表示{O′dis，3(x,y)}中坐标位置为(x,y)的像素点的像素值，G′dis，4(x,y)表示{G′dis，4(x,y)}中坐标位置为(x,y)的像素点的像素值，O′dis，4(x,y)表示{O′dis，4(x,y)}中坐标位置为(x,y)的像素点的像素值；⑤采用量化方法，分别对{G′dis，1(x,y)}和{O′dis，1(x,y)}、{G′dis，2(x,y)}和{O′dis，2(x,y)}、{G′dis，3(x,y)}和{O′dis，3(x,y)}、{G′dis，4(x,y)}和{O′dis，4(x,y)}进行量化处理，对应得到{G′dis，1(x,y)}和{O′dis，1(x,y)}、{G′dis，2(x,y)}和{O′dis，2(x,y)}、{G′dis，3(x,y)}和{O′dis，3(x,y)}、{G′dis，4(x,y)}和{O′dis，4(x,y)}各自的量化特征图像，对应记为{G′dis,qun,1(x,y)}和{O′dis,qun,1(x,y)}、{G′dis,qun，2(x,y)}和{O′dis,qun，2(x,y)}、{G′dis,qun，3(x,y)}和{O′dis,qun，3(x,y)}、{G′dis,qun，4(x,y)}和{O′dis,qun，4(x,y)}；其中，G′dis,qun,1(x,y)表示{G′dis,qun,1(x,y)}中坐标位置为(x,y)的像素点的像素值，O′dis,qun,1(x,y)表示{O′dis,qun,1(x,y)}中坐标位置为(x,y)的像素点的像素值，G′dis,qun，2(x,y)表示{G′dis,qun，2(x,y)}中坐标位置为(x,y)的像素点的像素值，O′dis,qun，2(x,y)表示{O′dis,qun，2(x,y)}中坐标位置为(x,y)的像素点的像素值，G′dis,qun，3(x,y)表示{G′dis,qun，3(x,y)}中坐标位置为(x,y)的像素点的像素值，O′dis,qun，3(x,y)表示{O′dis,qun，3(x,y)}中坐标位置为(x,y)的像素点的像素值，G′dis,qun，4(x,y)表示{G′dis,qun，4(x,y)}中坐标位置为(x,y)的像素点的像素值，O′dis,qun，4(x,y)表示{O′dis,qun，4(x,y)}中坐标位置为(x,y)的像素点的像素值；⑥采用边缘概率求取方法，联合{G′dis,qun,1(x,y)}和{O′dis,qun,1(x,y)}进行边缘概率求取，得到{G′dis,qun,1(x,y)}和{O′dis,qun,1(x,y)}各自的边缘概率特征向量，对应记为G′dis,qun,mar,1和O′dis,qun,mar,1；并采用独立分布求取方法，联合{G′dis,qun,1(x,y)}和{O′dis,qun,1(x,y)}进行独立分布求取，得到{G′dis,qun,1(x,y)}和{O′dis,qun,1(x,y)}各自的独立分布特征向量，对应记为G′dis,qun,dep,1和O′dis,qun,dep,1；其中，G′dis,qun,mar,1和O′dis,qun,mar,1的维数均为1×m′维，G′dis,qun,dep,1和O′dis,qun,dep,1的维数均为1×m′维，m′表示边缘概率特征向量和独立分布特征向量的维数，m′>1；采用边缘概率求取方法，联合{G′dis,qun,2(x,y)}和{O′dis,qun,2(x,y)}进行边缘概率求取，得到{G′dis,qun,2(x,y)}和{O′dis,qun,2(x,y)}各自的边缘概率特征向量，对应记为G′dis,qun,mar,2和O′dis,qun,mar,2；并采用独立分布求取方法，联合{G′dis,qun,2(x,y)}和{O′dis,qun,2(x,y)}进行独立分布求取，得到{G′dis,qun,2(x,y)}和{O′dis,qun,2(x,y)}各自的独立分布特征向量，对应记为G′dis,qun,dep,2和O′dis,qun,dep,2；其中，G′dis,qun,mar,2和O′dis,qun,mar,2的维数均为1×m′维，G′dis,qun,dep,2和O′dis,qun,dep,2的维数均为1×m′维；采用边缘概率求取方法，联合{G′dis,qun,3(x,y)}和{O′dis,qun,3(x,y)}进行边缘概率求取，得到{G′dis,qun,3(x,y)}和{O′dis,qun,3(x,y)}各自的边缘概率特征向量，对应记为G′dis,qun,mar,3和O′dis,qun,mar,3；并采用独立分布求取方法，联合{G′dis,qun,3(x,y)}和{O′dis,qun,3(x,y)}进行独立分布求取，得到{G′dis,qun,3(x,y)}和{O′dis,qun,3(x,y)}各自的独立分布特征向量，对应记为G′dis,qun,dep,3和O′dis,qun,dep,3；其中，G′dis,qun,mar,3和O′dis,qun,mar,3的维数均为1×m′维，G′dis,qun,dep,3和O′dis,qun,dep,3的维数均为1×m′维；采用边缘概率求取方法，联合{G′dis,qun,4(x,y)}和{O′dis,qun,4(x,y)}进行边缘概率求取，得到{G′dis,qun,4(x,y)}和{O′dis,qun,4(x,y)}各自的边缘概率特征向量，对应记为G′dis,qun,mar,4和O′dis,qun,mar,4；并采用独立分布求取方法，联合{G′dis,qun,4(x,y)}和{O′dis,qun,4(x,y)}进行独立分布求取，得到{G′dis,qun,4(x,y)}和{O′dis,qun,4(x,y)}各自的独立分布特征向量，对应记为G′dis,qun,dep,4和O′dis,qun,dep,4；其中，G′dis,qun,mar,4和O′dis,qun,mar,4的维数均为1×m′维，G′dis,qun,dep,4和O′dis,qun,dep,4的维数均为1×m′维；⑦采用n幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，将该失真立体图像集合作为训练集，训练集包括多幅失真立体图像；然后采用主观质量评价方法评价出训练集中的每幅失真立体图像的主观评分，将训练集中的第j幅失真立体图像的主观评分记为DMOSj；并按照步骤①至步骤⑥的操作，以相同的方式获取训练集中的每幅失真立体图像的左视点图像、右视点图像、合成中央眼活动图像、双目产物图像各自的梯度幅值特征图像和高斯拉普拉斯特征图像各自对应的边缘概率特征向量和独立分布特征向量，将训练集中的第j幅失真立体图像的左视点图像、右视点图像、合成中央眼活动图像、双目产物图像各自的梯度幅值特征图像对应的边缘概率特征向量对应记为G′dis,qun,mar,1,j、G′dis,qun,mar,2,j、G′dis,qun,mar,3,j、G′dis,qun,mar,4,j，将训练集中的第j幅失真立体图像的左视点图像、右视点图像、合成中央眼活动图像、双目产物图像各自的高斯拉普拉斯特征图像对应的边缘概率特征向量对应记为O′dis,qun,mar,1,j、O′dis,qun,mar,2,j、O′dis,qun,mar,3,j、O′dis,qun,mar,4,j，将训练集中的第j幅失真立体图像的左视点图像、右视点图像、合成中央眼活动图像、双目产物图像各自的梯度幅值特征图像对应的独立分布特征向量对应记为G′dis,qun,dep,1,j、G′dis,qun,dep,2,j、G′dis,qun,dep,3,j、G′dis,qun,dep,4,j，将训练集中的第j幅失真立体图像的左视点图像、右视点图像、合成中央眼活动图像、双目产物图像各自的高斯拉普拉斯特征图像对应的独立分布特征向量对应记为O′dis,qun,dep,1,j、O′dis,qun,dep,2,j、O′dis,qun,dep,3,j、O′dis,qun,dep,4,j；其中，n>1，j的初始值为1，1≤j≤N'，N'表示训练集中包含的失真立体图像的总幅数，0≤DMOSj≤100，G′dis,qun,mar,1,j、G′dis,qun,mar,2,j、G′dis,qun,mar,3,j、G′dis,qun,mar,4,j、O′dis,qun,mar,1,j、O′dis,qun,mar,2,j、O′dis,qun,mar,3,j、O′dis,qun,mar,4,j、G′dis,qun,dep,1,j、G′dis,qun,dep,2,j、G′dis,qun,dep,3,j、G′dis,qun,dep,4,j、O′dis,qun,dep,1,j、O′dis,qun,dep,2,j、O′dis,qun,dep,3,j和O′dis,qun,dep,4,j的维数均为1×m′维；⑧利用深度神经网络对训练集中的所有失真立体图像各自的主观评分及对应的边缘概率特征向量和独立分布特征向量进行训练，使得经过训练得到的回归函数值与主观评分之间的误差最小，得到全局最优的深度神经网络训练模型，将全局最优的深度神经网络训练模型中的权重矩阵记为ω，将全局最优的深度神经网络训练模型中的偏置向量记为b；再根据全局最优的深度神经网络训练模型，对G′_{dis,qun,mar,1}、O′_{dis,qun,mar,1}、G′_{dis,qun,dep,1}、O′_{dis,qun,dep,1}、G′_{dis,qun,mar,2}、O′_{dis,qun,mar,2}、G′_{dis,qun,dep,2}、O′_{dis,qun,dep,2}、G′_{dis,qun,mar,3}、O′_{dis,qun,mar,3}、G′_{dis,qun,dep,3}、O′_{dis,qun,dep,3}、G′_{dis,qun,mar,4}、O′_{dis,qun,mar,4}、G′_{dis,qun,dep,4}、O′_{dis,qun,dep,4}进行测试，预测得到S_dis的客观质量评价预测值，记为Q，其中，Q是x的函数，y()为函数表示形式，x为输入，x代表G′_{dis,qun,mar,1}、O′_{dis,qun,mar,1}、G′_{dis,qun,dep,1}、O′_{dis,qun,dep,1}、G′_{dis,qun,mar,2}、O′_{dis,qun,mar,2}、G′_{dis,qun,dep,2}、O′_{dis,qun,dep,2}、G′_{dis,qun,mar,3}、O′_{dis,qun,mar,3}、G′_{dis,qun,dep,3}、O′_{dis,qun,dep,3}、G′_{dis,qun,mar,4}、O′_{dis,qun,mar,4}、G′_{dis,qun,dep,4}、O′_{dis,qun,dep,4}，为ω_i的转置矢量，ω_i为ω的第i行变量，b_i为b的第i行变量。