[发明专利]基于自适应卷积神经网络的图像超分辨方法

说明书

本发明公开了一种基于自适应卷积神经网络的图像超分辨方法，主要解决现有神经网络模型参数多、重构高分辨率图像时间开销大的问题。其实现方案是：获取训练数据，制作相应的训练集；构建由浅层特征提取、深层特征提取、特征融合和上采样四部分组成的自适应密集连接残差网络，其中深层特征部分包括简单图网络分支、一般图网络分支和复杂图网络分支；利用相应训练集对自适应密集连接残差网络进行训练，并计算待重建图像的复杂度；将不同复杂度的待重建图像输入到训练好的自适应密集连接残差网络，并选择对应的网络分支，输出超分辨后的图像。本发明表达能力强，在较少的模型参数和时间开销下提高了重建性能，可用于医疗诊断，卫星成像及道路监控。

技术领域

本发明属于技术图像处理领域，特别图像超分辨方法，可用于医疗诊断，卫星成像及道路监控。

技术背景

近年来，随着社会的发展，图像超分辨技术在医疗诊断，卫星成像，道路监控等领域起到重要作用。单幅图像超分辨是一个病态问题，很多科研工作者针对这一病态问题提出了很多算法，主要包括基于插值的算法，基于重建的算法和基于学习的算法。在基于学习的算法中，基于卷积神经网络的深度学习算法取得了明显优于传统算法的优势，成为当前研究的热点。但是当前基于卷积神经网络的算法还存在一些不足：

在网络规模方面，该类方法由于网络层数较浅无法充分学习LR图像和HR图像之间的非线性映射关系，后来开始增加网络深度，由此又产生了三个问题：(1)深层网络模型参数多，网络规模大，在重建过程中花费更多时间；(2)深层网络模型中浅层特征在后面的层中影响微弱，造成浅层特征信息的丢失；(3)深层网络在训练过程中难以收敛；在上采样操作所在位置方面，该类方法往往在图像超分辨之前进行插值预处理，再使用神经网络进行重构，由此产生的问题是：1)在超分辨之前进行插值仅仅放大了LR图像的尺寸，并没有带来更多图像信息，并且使计算复杂度更高；2)在超分辨之前进行插值操作放大了LR图像的噪声，使结果更模糊；在处理对象方面，该类方法统一处理不同信息量的图像，由此产生的问题是：即使放大一张低信息量的背景图像也会加载深层网络进行处理，造成时间和资源的浪费。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于自适应卷积神经网络的图像超分辨方法，以使用较少的网络层数降低训练难度，减少插值预处理带来的噪声影响和更高的计算复杂度，并根据图像复杂度自适应处理不同信息量的图像，减小资源浪费。

为实现上述目的，本发明的技术方案包括如下步骤：

(1)对标准数据集中的高分辨率图像HR进行下采样，得到对应的低分辨率图像LR，形成HR-LR图像对；

(2)将HR-LR图像对按指定大小进行分块，对每个LR图像块计算其单位图像大小的信息熵h(X)和总变差tv(X)；

(3)将复杂度划分成三个等级，依次对应简单图，一般图和复杂图，对LR单位图像大小的信息熵和总变差进行归一化处理，并乘以各自权重，得到LR图像块复杂度C(X)，再根据复杂度所属等级制作相应训练集为第i个等级，放大因子为scale的训练集，i＝1,2,3，scale＝2,3,4，/为该训练集中第j个放大因子为scale的HR-LR图像对，j＝1,2,…,N，N为该训练集的样本总数；

(4)构建依次由浅层特征提取、深层特征提取、特征融合和上采样四部分级联，并在全局进行残差学习的自适应密集连接残差网络，其中，深层特征提取部分根据输入图像复杂度的不同包含不同数量的特征消融块，形成不同网络分支；

(5)以设定的概率确定选择哪种等级的训练集T，从所选数据集T中随机获取batch_size个训练数据，并对这些数据随机做水平、垂直翻转和90度旋转操作处理，其中选择简单图像训练集的概率为0.1，选择一般图像训练集的概率为0.3，选择复杂图像训练集的概率为0.6；

(6)将(5)处理后的数据输入到(4)构建的自适应密集连接残差网络中，并根据处理后数据的复杂度等级选择对应的网络进行训练，得到训练好的自适应密集连接残差网络；