[发明专利]基于多路径深度卷积神经网络的超分辨率重建方法

摘要

本发明公开了一种基于多路径深度卷积神经网络的超分辨率重建方法，包括如下步骤：获得总训练集、总训练集图像预处理、测试集准备和用卷积神经网络的卷积层实现图像重建；本发明提出的多路径卷积神经网络结构，在原有的单路径神经网络基础上增加了多条支路，能够对不同尺度的图像特征用不同数量的卷积核处理，不增加总体参数量的同时在重建质量和视觉效果上较原先的方法均有提升。

主权项

1.一种基于多路径深度卷积神经网络的超分辨率重建方法，包括如下步骤：(1)获得总训练集：训练集是通用的超分辨网络训练集91images和伯克利分割数据集中的200images，原始的训练集为291张自然图片，对每一张训练图片分别进行0.9,0.8,0.7,0.6倍数的缩小，并且进行90°，180°，270°旋转以及镜像翻转，原先训练集中的一张自然图片经过数据增强得到20张图片，总训练集大小为291*20＝5820张自然图片；(2)总训练集图像预处理：将总训练集中的图片用BICUBIC方法分别进行2倍，3倍和4倍分辨率缩小，切割成41*41大小的图片块，patch大小设置为64，并将训练集保存为HDF5格式作为卷积神经网络的输入；(3)测试集准备：设定4组测试集分别为：Set5、Set14、B100、Urban100,其中Set5、Set14、B100是三个常用图像超分辨率数据集，分别包含5张、14张、100张不同尺寸的自然图片，urban100是100张不同的城市场景图片；测试集按照步骤(2)中训练集进行相同的预处理，BICUBIC后输入网络进行图像超分辨率重建，patch大小设置为2；(4)用卷积神经网络的卷积层实现图像重建：分为三个部分：特征提取、特征映射和图像重建，特征提取和图像恢复部分各用一个3*3卷积核实现，特征映射部分用27个3*3卷积核实现；首先将训练集和测试集中RGB的彩色图像转换成YCbCr颜色空间，只计算Y通道即亮度通道，然后切成大小是41*41的patch作为输入；每一个卷积层后均紧跟一个ReLU激活函数。