[发明专利]基于通道特征和卷积神经网络的屏幕图像质量评价方法

权利要求书

1.一种基于通道特征和卷积神经网络的屏幕图像质量评价方法，其特征在于包括以下步骤：

步骤一：令{I_d(i,j)}表示待评价的失真屏幕图像，其中，1≤i≤W，1≤j≤H，W表示{I_d(i,j)}的宽度，H表示{I_d(i,j)}的高度，I_d(i,j)表示{I_d(i,j)}中坐标位置为(i,j)的像素点的像素值；

步骤二：利用集总特征通道方法对{I_d(i,j)}进行特征提取，得到{I_d(i,j)}的十个通道特征图，分别为L通道特征图、U通道特征图、V通道特征图、梯度幅值通道特征图、第1个方向梯度直方图通道特征图、第2个方向梯度直方图通道特征图、第3个方向梯度直方图通道特征图、第4个方向梯度直方图通道特征图、第5个方向梯度直方图通道特征图、第6个方向梯度直方图通道特征图，对应记为{L_d(m,n)}、{U_d(m,n)}、{V_d(m,n)}、{G_d,0(m,n)}、{G_d,1(m,n)}、{G_d,2(m,n)}、{G_d,3(m,n)}、{G_d,4(m,n)}、{G_d,5(m,n)}、{G_d,6(m,n)}，其中，1≤m≤M，1≤n≤N，符号为向下取整操作符号，M表示{I_d(i,j)}的每个通道特征图的宽度，N表示{I_d(i,j)}的每个通道特征图的高度，L_d(m,n)表示{L_d(m,n)}中坐标位置为(m,n)的像素点的像素值，U_d(m,n)表示{U_d(m,n)}中坐标位置为(m,n)的像素点的像素值，V_d(m,n)表示{V_d(m,n)}中坐标位置为(m,n)的像素点的像素值，G_d,0(m,n)表示{G_d,0(m,n)}中坐标位置为(m,n)的像素点的像素值，G_d,1(m,n)表示{G_d,1(m,n)}中坐标位置为(m,n)的像素点的像素值，G_d,2(m,n)表示{G_d,2(m,n)}中坐标位置为(m,n)的像素点的像素值，G_d,3(m,n)表示{G_d,3(m,n)}中坐标位置为(m,n)的像素点的像素值，G_d,4(m,n)表示{G_d,4(m,n)}中坐标位置为(m,n)的像素点的像素值，G_d,5(m,n)表示{G_d,5(m,n)}中坐标位置为(m,n)的像素点的像素值，G_d,6(m,n)表示{G_d,6(m,n)}中坐标位置为(m,n)的像素点的像素值；

步骤三：获取{L_d(m,n)}、{U_d(m,n)}、{V_d(m,n)}、{G_d,0(m,n)}、{G_d,1(m,n)}、{G_d,2(m,n)}、{G_d,3(m,n)}、{G_d,4(m,n)}、{G_d,5(m,n)}、{G_d,6(m,n)}各自的归一化图像，对应记为其中，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值；

步骤四：采用P幅原始的无失真屏幕图像，建立其在不同失真类型不同失真程度下的失真屏幕图像集合，将该失真屏幕图像集合作为训练集，训练集包括多幅失真屏幕图像；然后利用主观质量评价方法评价出训练集中的每幅失真屏幕图像的主观评分值，将训练集中的第j幅失真屏幕图像的主观评分值记为DMOS_j；并按照步骤一至步骤三的操作，以相同的方式获取训练集中的每幅失真屏幕图像的十个通道特征图各自的归一化图像，将训练集中的第j幅失真屏幕图像的十个通道特征图各自的归一化图像对应记为其中，P>1，1≤j≤K'，K'表示训练集中包含的失真屏幕图像的总幅数，0≤DMOS_j≤100，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值；

步骤五：利用卷积神经网络对训练集中的所有失真屏幕图像各自的主观评分值及各自的十个通道特征图的归一化图像进行训练，使得经过训练得到的回归函数值与主观评分值之间的误差最小，拟合得到最优的权值矢量W^opt和最优的偏置项b^opt；接着利用W^opt构造得到卷积神经网络回归训练模型；再根据卷积神经网络回归训练模型，对进行测试，预测得到{I_d(i,j)}的客观质量评价预测值，记为Q，Q＝f(x)，其中，Q是x的函数，f()为函数表示形式，x为输入变量，x表示为W^opt的转置矢量，为x的卷积函数。

2.根据权利要求1所述的基于通道特征和卷积神经网络的屏幕图像质量评价方法，其特征在于所述的步骤三的具体过程为：

求得{L_d(m,n)}的局部平均值图像，记为{μ₁(m,n)}；并求得{L_d(m,n)}的局部方差图像，记为{σ₁(m,n)}；然后根据{L_d(m,n)}、{μ₁(m,n)}、{σ₁(m,n)}，获取{L_d(m,n)}的归一化图像将中坐标位置为(m,n)的像素点的像素值记为其中，μ₁(m,n)表示{μ₁(m,n)}中坐标位置为(m,n)的像素点的像素值，σ₁(m,n)表示{σ₁(m,n)}中坐标位置为(m,n)的像素点的像素值；

求得{U_d(m,n)}的局部平均值图像，记为{μ₂(m,n)}；并求得{U_d(m,n)}的局部方差图像，记为{σ₂(m,n)}；然后根据{U_d(m,n)}、{μ₂(m,n)}、{σ₂(m,n)}，获取{U_d(m,n)}的归一化图像将中坐标位置为(m,n)的像素点的像素值记为其中，μ₂(m,n)表示{μ₂(m,n)}中坐标位置为(m,n)的像素点的像素值，σ₂(m,n)表示{σ₂(m,n)}中坐标位置为(m,n)的像素点的像素值；

求得{V_d(m,n)}的局部平均值图像，记为{μ₃(m,n)}；并求得{V_d(m,n)}的局部方差图像，记为{σ₃(m,n)}；然后根据{V_d(m,n)}、{μ₃(m,n)}、{σ₃(m,n)}，获取{V_d(m,n)}的归一化图像将中坐标位置为(m,n)的像素点的像素值记为其中，μ₃(m,n)表示{μ₃(m,n)}中坐标位置为(m,n)的像素点的像素值，σ₃(m,n)表示{σ₃(m,n)}中坐标位置为(m,n)的像素点的像素值；

求得{G_d,0(m,n)}的局部平均值图像，记为{μ₄(m,n)}；并求得{G_d,0(m,n)}的局部方差图像，记为{σ₄(m,n)}；然后根据{G_d,0(m,n)}、{μ₄(m,n)}、{σ₄(m,n)}，获取{G_d,0(m,n)}的归一化图像将中坐标位置为(m,n)的像素点的像素值记为其中，μ₄(m,n)表示{μ₄(m,n)}中坐标位置为(m,n)的像素点的像素值，σ₄(m,n)表示{σ₄(m,n)}中坐标位置为(m,n)的像素点的像素值；

求得{G_d,1(m,n)}的局部平均值图像，记为{μ₅(m,n)}；并求得{G_d,1(m,n)}的局部方差图像，记为{σ₅(m,n)}；然后根据{G_d,1(m,n)}、{μ₅(m,n)}、{σ₅(m,n)}，获取{G_d,1(m,n)}的归一化图像将中坐标位置为(m,n)的像素点的像素值记为其中，μ₅(m,n)表示{μ₅(m,n)}中坐标位置为(m,n)的像素点的像素值，σ₅(m,n)表示{σ₅(m,n)}中坐标位置为(m,n)的像素点的像素值；

求得{G_d,2(m,n)}的局部平均值图像，记为{μ₆(m,n)}；并求得{G_d,2(m,n)}的局部方差图像，记为{σ₆(m,n)}；然后根据{G_d,2(m,n)}、{μ₆(m,n)}、{σ₆(m,n)}，获取{G_d,2(m,n)}的归一化图像将中坐标位置为(m,n)的像素点的像素值记为其中，μ₆(m,n)表示{μ₆(m,n)}中坐标位置为(m,n)的像素点的像素值，σ₆(m,n)表示{σ₆(m,n)}中坐标位置为(m,n)的像素点的像素值；

求得{G_d,3(m,n)}的局部平均值图像，记为{μ₇(m,n)}；并求得{G_d,3(m,n)}的局部方差图像，记为{σ₇(m,n)}；然后根据{G_d,3(m,n)}、{μ₇(m,n)}、{σ₇(m,n)}，获取{G_d,3(m,n)}的归一化图像将中坐标位置为(m,n)的像素点的像素值记为其中，μ₇(m,n)表示{μ₇(m,n)}中坐标位置为(m,n)的像素点的像素值，σ₇(m,n)表示{σ₇(m,n)}中坐标位置为(m,n)的像素点的像素值；

求得{G_d,4(m,n)}的局部平均值图像，记为{μ₈(m,n)}；并求得{G_d,4(m,n)}的局部方差图像，记为{σ₈(m,n)}；然后根据{G_d,4(m,n)}、{μ₈(m,n)}、{σ₈(m,n)}，获取{G_d,4(m,n)}的归一化图像将中坐标位置为(m,n)的像素点的像素值记为其中，μ₈(m,n)表示{μ₈(m,n)}中坐标位置为(m,n)的像素点的像素值，σ₈(m,n)表示{σ₈(m,n)}中坐标位置为(m,n)的像素点的像素值；

求得{G_d,5(m,n)}的局部平均值图像，记为{μ₉(m,n)}；并求得{G_d,5(m,n)}的局部方差图像，记为{σ₉(m,n)}；然后根据{G_d,5(m,n)}、{μ₉(m,n)}、{σ₉(m,n)}，获取{G_d,5(m,n)}的归一化图像将中坐标位置为(m,n)的像素点的像素值记为其中，μ₉(m,n)表示{μ₉(m,n)}中坐标位置为(m,n)的像素点的像素值，σ₉(m,n)表示{σ₉(m,n)}中坐标位置为(m,n)的像素点的像素值；

求得{G_d,6(m,n)}的局部平均值图像，记为{μ₁₀(m,n)}；并求得{G_d,6(m,n)}的局部方差图像，记为{σ₁₀(m,n)}；然后根据{G_d,6(m,n)}、{μ₁₀(m,n)}、{σ₁₀(m,n)}，获取{G_d,6(m,n)}的归一化图像将中坐标位置为(m,n)的像素点的像素值记为其中，μ₁₀(m,n)表示{μ₁₀(m,n)}中坐标位置为(m,n)的像素点的像素值，σ₁₀(m,n)表示{σ₁₀(m,n)}中坐标位置为(m,n)的像素点的像素值。