[发明专利]一种基于GAN的HEVC压缩视频视觉感知提升方法

权利要求书

1.一种基于生成对抗网络GAN的HEVC压缩视频视觉感知提升方法，其特征在于：

(1)生成图像残差网络；

(2)将残差块个数n分别设置为5、7、9、11、13，其中9个残差块为生成器所选残差结构；

(3)判别器不变并且生成器中其余层结构不变，分别将生成器中残差块设置为以上5个深度并训练，用5个残差深度下GAN的最佳模型重建压缩视频序列foreman_352×288并计算感知指数PI值；

(4)生成器G采用9层残差网络；在残差网络前进行下采，Convolution-BatchNorm-Relu结构的下采层可以表示为公式(1)，↓₂表示该层卷积步长为2，采用逆卷积层恢复到原始尺寸；同理，Convolution-BatchNorm-Relu结构的逆卷积层可以表示为(2)式，其中↑₂表示该层逆卷积步长为2，Relu是线性激活函数，BN是BatchNorm层的缩写；

生成器G的配置如表1所列，结构层公式表示为：

F₀(Y)＝Y (3)

F₁₅＝W₁₅·F₁₄(Y)+B₁₅ (8)

F₁₆＝Tanh(F₁₅(Y)) (9)

其中，Y为已编码视频帧，W_i和B_i分别为第i层的权重和偏置，Dropout是正则网络，Tanh是双曲正切函数；

表1中卷积层用Conv表示，逆卷积层用ConvTrans表示，卷积层、残差层和逆卷积层的滤波器大小、滤波器数量和步长对应如表中所示，每一个残差层的配置均相同，因此表1中仅给出第一个残差层和最后一个残差层配置参数，用“…”省略了第二个至第八个残差层的配置参数；

表1算法生成器G的配置

判别器D的配置如表2所列，结构层公式表示为：

F₀(Y)＝Y (10)

F₁(Y)＝LeakyRelu(W₁·F₀(Y)+B₁) (11)

F_i(Y)＝F_NormLeaky(Y),i＝{2,3,4} (12)

F₅＝W₅·F₄(Y)+B₅ (13)

其中，Y为已编码视频帧，W_i和B_i分别为第i层的权重和偏置，LeakyRelu是带泄露整流函数；

表2中卷积层用Conv表示，卷积层的滤波器大小、滤波器数量和步长对应如表中所示；

表2算法判别器D的配置

层	滤波器大小	滤波器数量	步长
Conv1	4×4	64	2
Conv2	4×4	128	2
Conv3	4×4	256	2
Conv4	4×4	512	1
Conv5	4×4	1	1

(5)训练算法生成对抗网络GAN的目标函数可以表示为：

L_GAN(G,D)＝E_x,_y[logD(x,y)]+E_x,z[log(1-D(x,G(x,z)))] (14)

本发明网络采用L1作为辅助损失函数：

L_L1(G)＝E_x,y,z[||y-G(x,z)||₁] (15)

因此，结合GAN目标函数与L1损失的最终目标函数为：

其中是拉格朗日乘子，E(x)是x的数学期望；

(6)训练网络时，训练集样本选用BSDS500database，将BSDS500里的训练图库和测试图库共同用于训练图库；将400张原始训练图在HEVC基于AI的标准帧内编码配置文件encoder_intra_main.cfg和基于LDP的IPPP标准帧间编码配置文件encoder_lowdelay_P_main.cfg下，设置QP＝22、27、32、37时分别进行编码，以此得到帧内和帧间各四个QP，共八个降质的图像库；将原始图库和八个降质图库进行四个方向地旋转和五个尺度地缩放，再把扩展的原始图库和降质图库进行分割生成训练样本，以步长32将图库切割成32×32的块，每次训练时，随机选取切割样本数据中的16个样本进行参数优化，即训练时batchsize＝16。

2.如权利要求1所述的基于GAN的HEVC压缩视频视觉感知提升方法，其特征在于使用判别器通过对原始图像和生成图像的平均判别做判别器对抗损失以获取图像的纹理细节，并辅助使用一范数获取低频信息。