[发明专利]基于压缩多尺度特征融合网络的图像超分辨率重建方法

摘要

本发明提出了一种基于压缩多尺度特征融合网络的图像超分辨率重建方法，用于解决现有技术中存在的重建后的高分辨率图像峰值信噪比和结构相似性较低的技术问题。实现步骤为：获取由高低分辨率图像对组成的训练样本集；构建多尺度特征融合网络；对多尺度特征融合网络进行训练；获取压缩多尺度特征融合网络；用压缩多尺度特征融合网络对待重建RGB图像进行超分辨率重建。本发明在多尺度特征融合网络中采用多个依次层叠连接的多尺度特征融合层提取低分辨图像的多尺度特征，并对其进行非线性映射，有利于提高重建后的高分辨率图像峰值信噪比和结构相似性。可用于遥感成像、公共安全、医学诊断等领域。

主权项

1.一种基于压缩多尺度特征融合网络的图像超分辨重建方法，其特征在于，包括如下步骤：(1)获取训练样本集：(1a)从数据库中提取p幅RGB图像，并对每幅图像进行旋转和尺度变换，得到q幅RGB图像，其中p≥1，q＞p；(1b)对q幅RGB图像进行格式转换，并从得到的q幅YCbCr图像中各提取一幅Y通道图像，得到q幅Y通道图像，并对q幅Y通道图像进行编号，得到q幅带编号的Y通道图像；(1c)对q幅带编号的Y通道图像分别进行模糊处理，得到q幅带编号的低分辨率图像；(1d)将q幅Y通道图像中的第i幅图像与q幅低分辨率图像中的第i幅图像进行配对，得到q个高低分辨率图像对，其中i＝1...q；(1e)对q个高低分辨率图像对分别进行裁剪，并将得到的N个大小为c×c的高低分辨率图像对组成训练样本集S＝{(X1，Y1)，(X2，Y2)，...，(Xi，Yi)，...，(XN，YN)}，i＝1，...，N，其中Xi为第i幅高低分辨率图像对中的低分辨率图像，Yi第i幅高低分辨率图像对中的高分辨率图像，N≥q，c≥15；(2)构建多尺度特征融合网络：构建包括由依次层叠的输入层、H个依次层叠的多尺度特征融合层、第一卷积层和损失层组成的多尺度特征融合网络，8≤H≤12，其中：所述输入层，用于接收高低分辨率图像对；所述多尺度特征融合层，用于提取高低分辨率图像对中的低分辨率图像特征，并将低分辨率图像特征映射为高分辨图像与低分辨图像的残差图像的特征，包括依次层叠的多尺度特征提取层、concat层和第二卷积层，其中，所述多尺度特征提取层，包括n个并行的第三卷积层，n≥2，每个第三卷积层中的卷积核尺寸相等，且不同第三卷积层中的卷积核尺寸不等；所述第二卷积层中卷积核尺寸为1*1；所述第二卷积层和n个并行的第三卷积层后各连接一个非线性激活层；所述第一卷积层，用于对高分辨图像与低分辨图像的残差图像的特征进行重建，该第一卷积层的卷积核尺寸为d*d，3≤d≤5；所述损失层，用于使用损失函数对多尺度特征融合网络进行训练，该损失层的损失函数为L(θ)；(3)对多尺度特征融合网络进行训练：(3a)对多尺度特征融合网络进行初始化，得到初始化的多尺度特征融合网络；(3b)将高低分辨率图像对中的低分辨率图像作为初始化的多尺度特征融合网络的输入数据，并将高分辨率图像作为输入数据对应的类标，通过对损失函数L(θ)的最小化实现对初始化的多尺度特征融合网络的优化，得到训练后的多尺度特征融合网络Net1；(4)获取压缩多尺度特征融合网络：(4a)采用损失函数为E(θ)的损失层对多尺度特征融合网络的损失层进行替换，得到多尺度特征融合网络Net2；(4b)采用训练后的多尺度特征融合网络Net1的网络参数对多尺度特征融合网络Net2进行初始化，并对初始化后的多尺度特征融合网络Net2进行微调，得到压缩多尺度特征融合网络；(5)对待重建RGB图像进行超分辨率重建：(5a)对待重建RGB图像进行格式转换，得到待重建YCbCr图像；(5b)从待重建YCbCr图像中提取Y通道图像、Cb通道图像和Cr通道图像，得到待重建YCbCr图像的Y通道图像、待重建YCbCr图像的Cb通道图像和待重建YCbCr图像的Cr通道图像；(5c)将待重建YCbCr图像的Y通道图像输入压缩多尺度特征融合网络，得到待重建YCbCr图像的Y通道残差图像；(5d)将待重建YCbCr图像的Y通道图像与待重建YCbCr图像的Y通道残差图像相加，得到重建高分辨率YCbCr图像的Y通道图像；(5e)将重建高分辨率YCbCr图像的Y通道图像、待重建YCbCr图像的Cb通道图像和待重建YCbCr图像的Cr通道图像进行组合，得到重建高分辨率YCbCr图像，并对重建高分辨率YCbCr图像进行格式转换，得到重建高分辨率RGB图像。