[发明专利]一种基于视频编码的单帧图像超分辨率方法

说明书

本发明公开了一种基于视频编码的单帧图像超分辨率方法，利用视频编码中可以直接得到的先验信息，对图像的不同部分子块进行针对性的处理，利用复杂的网络处理纹理更复杂的子块，同时设计一个自适应卷积模块对不同编码模式的子块进行针对处理，使网络更有针对性，针对不同的纹理恢复出不同的细节信息，从而提高超分辨率结果的精度。本发明将少通道的网络的参数共享到深通道的网络中，即达到用一个主干网络的不同层数实现一整张图片的超分辨率过程，使用相对简单，浅层，少通道的网络处理相对大的、纹理更为平滑的子块，减少超分辨过程所需要的时间。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于视频编码的单帧图像超分辨率方法。

背景技术

图像超分辨率是将输入的低分辨率的视觉图像转化为高分辨率的视觉图像的过程。最近超分辨率工作的一个重要的关注点是提出各式各样的对推理过程进行加速的网络。其中一个分支是利用更少的参数，更快的速度实现高效的超分辨率工作。例如早期的FSRCNN，直接将输入图像进行特征提取，随后特征图经过一个上采样网络完成超分辨率图像的构建。又例如最近的工作CARN是利用了分组卷积技术设计了一个残差网络，以实现对输入图片的快速处理。另一个分支是增大网络模型的复杂度，增加模型分支数目，通过对不同种类的输入进行单独训练，如ClassSR。

ClassSR通过对不同复杂程度的低分辨率输入图像采用不同复杂度的神经网络进行训练和推理。由于图像的大部分区域只需要通过计算量相对小的网络，这种方法在一定程度上提升了网络推理阶段的运行速度。具体来说该方法是将图片分割成32×32像素的小块。通过一个预先训练好的分类网络，依据小块图像的纹理复杂程度将其分为三类：简单图片，中等图片，困难图片。不同类别的图片对应不同通道数目的主干网络。

在传统的超分辨率网络中，都是对整张图片直接提取特征图，这样的结构使得网络没有办法很好的学习每个区域不同的特征，应用相同的卷积核处理不同的区域使得恢复出来的图像纹理细节与真实图像不符。并且由于图像不同区域的纹理细节复杂度不同，对低细节区域的复杂处理往往会没有必要的增加网络的计算量。但是如ClassSR提出的先分类后经过三个参数不共享的神经网络会使得在训练的时候花费大量的时间和计算力，增大了网络的复杂度。在上述提到的缺点之外，如今的超分辨率方法大部分都忽略了图像原本便的先验信息对于图像超分辨率过程的帮助。因此亟需一种网络的计算量小，恢复出来的图像纹理细节与真实图像符合精度提高的超分辨率方法。

发明内容

为解决现有技术中存在的问题，本发明提供了一种基于视频编码的单帧图像超分辨率方法，解决了上述背景技术中提到的问题。

为实现上述目的，本发明提供如下技术方案：一种基于视频编码的单帧图像超分辨率方法，包括以下步骤：

S1、利用视频编码每一帧图像的先验信息，将视频中低分辨率图像I_LR按照H.265视频编码信息分为对应的4×4像素、8×8像素、16×16像素和32×32像素的子块，对于4×4和8×8像素的子块可以得到其对应的编码预测模式M_pre，依据不同的编码模式生成对应的高斯分布的模型G_m；

S2、利用16×16以及32×32像素的子块对通道自适应主干网络CAB进行训练，将CAB中的每一个卷积块分为conv1和conv2两层通道,在每一次迭代中，仅使用conv1的参数进行前向和反向传播，不使用conv2的参数，通过最小化感知损失和mse损失得到最终超分辨输出I_SR

S3、利用4×4以及8×8像素的子块对通道自适应主干网络CAB进行训练，此时使用conv1和conv2的参数进行前向传播，conv1已经在的训练中学习到了平滑信息的特征提取方式，在反向传播的时候固定conv1的参数，仅更新conv2的参数，通过最小化感知损失和mse损失得到最终超分辨率输出I_SR