[发明专利]基于全卷积神经网络单张图像的超分辨率图像重建方法

摘要

一种基于全卷积神经网络单张图像的超分辨率图像重建方法，由对采集的图像进行分割、制作网络训练集和测试集图像进行预处理、构建全卷积神经网络、训练全卷积神经网络、重建测试集图像的超分辨率图像步骤组成，由于本发明构建了一个由原始图像特征提取模块、特征高维映射模块、残差提取模块组成的全卷积神经网络模型，提高了重建图像的质量并丰富了图像的细节。本发明可以在仅拥有低分辨率图像的情况下通过该全卷积神经网络模型重建出高质量的超分辨率图像。

主权项

1.一种基于全卷积神经网络单张图像的超分辨率图像重建方法，其特征在于由以下步骤组成：(1)对采集的图像进行分割获取不少于200张彩色图像，按照3:1的比例分割出训练数据集图像和测试集图像；(2)制作网络训练集和测试集图像进行预处理使用数据增强方法扩充训练数据集图像并制作网络训练集，并对测试集图像进行预处理；该步骤中，数据增强方法扩充训练数据集图像并制作网络训练集的步骤为：1)对训练数据集图像中的所有图像依次顺时针旋转90°、180°、270°，将每次旋转得到的旋转图像加入训练数据集图像中；2)对训练数据集图像中所有图像进行水平翻转；3)对训练数据集图像中所有图像从红、绿、蓝色彩空间，转为亮度、蓝色色度、红色色度空间，提取出亮度，从亮度中切割出16～64×16～64的像素块；4)对每个像素块分别进行2倍、3倍、4倍双三次插值下采样，将下采样的结果再用相同的倍数上采样，恢复到原尺寸，所得到的结果为网络模型的输入，原来的像素块为网络模型的输出，得到训练集；该步骤中，对测试集图像进行预处理步骤为：对所有测试集图像从红、绿、蓝色彩空间，转为亮度、蓝色色度、红色色度色彩空间，提取出亮度作为测试集；(3)构建全卷积神经网络全卷积神经网络包含原始图像特征提取模块、特征高维映射模块、残差提取模块，特征提取模块的输出与特征高维映射模块的输入相连，特征高维映射模块的输出与残差提取模块的输入相连，构建成全卷积神经网络；(4)训练全卷积神经网络将步骤(2)中得到的训练集输入步骤(3)构建的全卷积神经网络中，用动态调整网络模型的学习率进行训练，得到训练好的全卷积神经网络；上述的动态调整网络模型的学习率进行训练为：用均方误差作为损失函数，每遍历10000个样本为一代，每过10代学习率降为当前的0.1，迭代次数为100代；(5)重建测试集图像的超分辨率图像将步骤(2)得到的测试集输入步骤(4)中训练好的全卷积神经网络，得到网络输出，根据网络输出重建出测试集图像的超分辨率图像；该步骤中，根据网络输出重建出测试集图像的超分辨率图像为：把测试集图像的色彩空间从红、绿、蓝转为亮度、蓝色色度、红色色度，用全卷积神经网络的对应输出替换原测试集图像的亮度层，把图像色彩空间从亮度、蓝色色度、红色色度，转回红、绿、蓝，得到基于全卷积网络的单张超分辨率图像。