[发明专利]一种基于视频编码的单帧图像超分辨率方法

权利要求书

1.一种基于视频编码的单帧图像超分辨率方法，其特征在于，包括以下步骤：

S1、利用视频编码每一帧图像的先验信息，将视频中低分辨率图像I_LR按照H.265视频编码信息分为对应的4×4像素、8×8像素、16×16像素和32×32像素的子块，对于4×4和8×8像素的子块可以得到其对应的编码预测模式M_pre，依据不同的编码模式生成对应的高斯分布的模型G_m；

S2、利用16×16以及32×32像素的子块对通道自适应主干网络CAB进行训练，将CAB中的每一个卷积块分为conv1和conv2两层通道,在每一次迭代中，仅使用conv1的参数进行前向和反向传播，不使用conv2的参数，通过最小化感知损失和mse损失得到最终超分辨输出I_SR

S3、利用4×4以及8×8像素的子块对通道自适应主干网络CAB进行训练，此时使用conv1和conv2的参数进行前向传播，conv1已经在的训练中学习到了平滑信息的特征提取方式，在反向传播的时候固定conv1的参数，仅更新conv2的参数，通过最小化感知损失和mse损失得到最终超分辨率输出I_SR

S4、步骤S2和步骤S3训练完成后，对整个网络进行训练，训练时固定通道自适应主干网络CAB的参数，利用最小化感知损失和mse损失进行训练，对剩下的网络参数进行更新，训练对应分支的特征提取模块，初步提取出的特征

S5、在对4×4以及8×8像素的子块所对应的分支网络CAB进行训练时，将按数字编号i，i＝0,1,2…15的相对顺序输入到网络中，将每个子块记为与其相同大小且相邻的四个子块记为其中，中的i代表了数字编号的数值；

S6、对步骤S1中生成的高斯模型以(0,0)为中心进行宽高等间距采样得到与卷积块宽高相同的矩阵，将与自适应卷积模块ACB中的卷积层Conv进行点乘操作，进行加权，表达式为：

用点乘之后的卷积核再对输入图像进行普通卷积运算，经过ACB模块后得到更加专注于图像纹理特征的特征图

S7、在每四张相邻子块经过自适应纹理处理模块后，对这四张子块按照其在原图中的位置进行拼接，再将其传递到主干网络，得到一张宽高为单张子块的两倍的特征图以矩阵的形式表示为：

S8、对网络利用最小化L_total进行进一步细微调整即完成图片的超分辨率过程。

2.根据权利要求1所述的基于视频编码的单帧图像超分辨率方法，其特征在于：所述步骤S1的编码预测模式M_pre包括DC预测模式、平面预测模式和角度预测模式。

3.根据权利要求1所述的基于视频编码的单帧图像超分辨率方法，其特征在于：所述的通过编码预测模式M_pre对G_m的协方差矩阵C进行控制，

G_m＝Guss(C,θ|M_pre)

通过调整协方差矩阵，使生成的高斯模型的极大值处与模式纹理角度相吻合，自适应的专注于图像纹理特征，其中，将M_pre为DC模式或平面模式时，设置为拥有单位协方差矩阵的高斯模型，将M_pre为角度模式且角度为θ的子块设置初始协方差矩阵C，并对其做θ角度变换后得到的结果，表示为：

G_m＝A(θ)CA(θ)^T

其中A(θ)为二维旋转矩阵A(θ)^T表示矩阵A(θ)的转置。

4.根据权利要求1所述的基于视频编码的单帧图像超分辨率方法，其特征在于：所述步骤S8中的细微调整具体包括：

使用mse损失来最小化输入的低分辨率图像和真实的高分辨率图像之间的差距其中,N代表了像素个数，代表了不同分支的输出，将其分别与相对应分支的真实图像进行计算,在损失函数中加入感知损失项，使得生成的图片经过CNN网络的特征值与目标图片经过CNN网络的特征值的L2距离尽可能的小，这使得待生成的图片与目标图片在语义上更加相似，其中f表示CNN网络，CNN网络具体为VGG-16网络；

对4×4、8×8子块使用更大的损失权重值ω₂,对更大的平滑子块16×16、32×32使用更小的权重值ω₁，

损失函数L_total表示为：

其中ω₁为0.5，ω₂为1。