[发明专利]基于通道特征和卷积神经网络的屏幕图像质量评价方法

摘要

本发明公开了一种基于通道特征和卷积神经网络的屏幕图像质量评价方法，其提取出待评价的失真屏幕图像的十个通道特征图，并获取各自的归一化图像；按相同的方式获取训练集中的每幅失真屏幕图像的十个通道特征图各自的归一化图像，利用卷积神经网络对训练集中的所有失真屏幕图像各自的主观评分值及十个通道特征图的归一化图像进行训练，得到最优的权值矢量和偏置项，进而构造得到卷积神经网络回归训练模型，根据卷积神经网络回归训练模型对待评价的失真屏幕图像对应的归一化图像进行测试，得到待评价的失真屏幕图像的客观质量评价预测值；优点是能充分考虑到屏幕图像多种特性对视觉质量的影响，从而能提高客观评价结果与主观感知之间的相关性。

主权项

一种基于通道特征和卷积神经网络的屏幕图像质量评价方法，其特征在于包括以下步骤：步骤一：令{Id(i,j)}表示待评价的失真屏幕图像，其中，1≤i≤W，1≤j≤H，W表示{Id(i,j)}的宽度，H表示{Id(i,j)}的高度，Id(i,j)表示{Id(i,j)}中坐标位置为(i,j)的像素点的像素值；步骤二：利用集总特征通道方法对{Id(i,j)}进行特征提取，得到{Id(i,j)}的十个通道特征图，分别为L通道特征图、U通道特征图、V通道特征图、梯度幅值通道特征图、第1个方向梯度直方图通道特征图、第2个方向梯度直方图通道特征图、第3个方向梯度直方图通道特征图、第4个方向梯度直方图通道特征图、第5个方向梯度直方图通道特征图、第6个方向梯度直方图通道特征图，对应记为{Ld(m,n)}、{Ud(m,n)}、{Vd(m,n)}、{Gd,0(m,n)}、{Gd,1(m,n)}、{Gd,2(m,n)}、{Gd,3(m,n)}、{Gd,4(m,n)}、{Gd,5(m,n)}、{Gd,6(m,n)}，其中，1≤m≤M，1≤n≤N，符号为向下取整操作符号，M表示{Id(i,j)}的每个通道特征图的宽度，N表示{Id(i,j)}的每个通道特征图的高度，Ld(m,n)表示{Ld(m,n)}中坐标位置为(m,n)的像素点的像素值，Ud(m,n)表示{Ud(m,n)}中坐标位置为(m,n)的像素点的像素值，Vd(m,n)表示{Vd(m,n)}中坐标位置为(m,n)的像素点的像素值，Gd,0(m,n)表示{Gd,0(m,n)}中坐标位置为(m,n)的像素点的像素值，Gd,1(m,n)表示{Gd,1(m,n)}中坐标位置为(m,n)的像素点的像素值，Gd,2(m,n)表示{Gd,2(m,n)}中坐标位置为(m,n)的像素点的像素值，Gd,3(m,n)表示{Gd,3(m,n)}中坐标位置为(m,n)的像素点的像素值，Gd,4(m,n)表示{Gd,4(m,n)}中坐标位置为(m,n)的像素点的像素值，Gd,5(m,n)表示{Gd,5(m,n)}中坐标位置为(m,n)的像素点的像素值，Gd,6(m,n)表示{Gd,6(m,n)}中坐标位置为(m,n)的像素点的像素值；步骤三：获取{Ld(m,n)}、{Ud(m,n)}、{Vd(m,n)}、{Gd,0(m,n)}、{Gd,1(m,n)}、{Gd,2(m,n)}、{Gd,3(m,n)}、{Gd,4(m,n)}、{Gd,5(m,n)}、{Gd,6(m,n)}各自的归一化图像，对应记为其中，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值；步骤四：采用P幅原始的无失真屏幕图像，建立其在不同失真类型不同失真程度下的失真屏幕图像集合，将该失真屏幕图像集合作为训练集，训练集包括多幅失真屏幕图像；然后利用主观质量评价方法评价出训练集中的每幅失真屏幕图像的主观评分值，将训练集中的第j幅失真屏幕图像的主观评分值记为DMOSj；并按照步骤一至步骤三的操作，以相同的方式获取训练集中的每幅失真屏幕图像的十个通道特征图各自的归一化图像，将训练集中的第j幅失真屏幕图像的十个通道特征图各自的归一化图像对应记为其中，P>1，1≤j≤K'，K'表示训练集中包含的失真屏幕图像的总幅数，0≤DMOSj≤100，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值，表示中坐标位置为(m,n)的像素点的像素值；步骤五：利用卷积神经网络对训练集中的所有失真屏幕图像各自的主观评分值及各自的十个通道特征图的归一化图像进行训练，使得经过训练得到的回归函数值与主观评分值之间的误差最小，拟合得到最优的权值矢量Wopt和最优的偏置项bopt；接着利用Wopt构造得到卷积神经网络回归训练模型；再根据卷积神经网络回归训练模型，对进行测试，预测得到{Id(i,j)}的客观质量评价预测值，记为Q，Q＝f(x)，其中，Q是x的函数，f()为函数表示形式，x为输入变量，x表示为Wopt的转置矢量，为x的卷积函数。