[发明专利]一种基于上下文相关多任务深度学习的图像超分辨算法

权利要求书

1.一种基于上下文相关多任务深度学习的图像超分辨算法，其特征在于，包括以下步骤：

S1：收集图像数据；步骤S1中收集的图像数据训练数据包括高分辨率的图像、该高分辨率的图像对应的边缘图像和其对应的静态低分辨率图像；其中，高分辨率的图像对应的边缘图像是二值图像，由边缘检测算法给出或由人工标记给出；边缘图像中值为0的像素表示非边缘，值为1的像素表示边缘；

S2：建立神经网络模型；步骤S2的神经网络模型包括三个部分组成；第一个部分由4个卷积层组成，其滤波器数量逐层提高，用于提取图像的多尺度特征；第二部分由一个第一反卷积层和两个第一卷积层组成，其中第一反卷积层用于将特征图进行自适应的插值，第一卷积层用于输出期望的特征图和初步的高分辨率的图像；第三部分是由一个第二反卷积层和两个第二卷积层组成，其中第二反卷积层用于将特征图进行自适应的插值，第二卷积层用于输出残差图；

S3：利用收集图像数据对所建立的神经网络模型进行训练；

S4：将训练好的神经网络处理静态低分辨率图像即得到高分辨率的图像。

2.根据权利要求1所述的基于上下文相关多任务深度学习的图像超分辨算法，其特征在于，步骤S3的过程如下：

S31：从图像数据中筛选出低分辨率图像，高分辨率图像，边缘图像；

S32：将低分辨率图像输入基本图像估计网络和边缘估计网络，得到对应的超分辨后的图像结果和边缘图像；

S33：将网络输出的结果和高分辨率图像与手工标注边缘图像进行计算，并利用计算结果更新网络的参数；

S34：当基本图像估计网络和边缘估计网络收敛以后，将参数固定；

S35：利用基本图像估计网络估计残差图，并作为残差估计网络的目标更新残差估计网络参数；

S36：当残差估计网络收敛以后，将参数固定；

S37：将残差网络输出与基本图像估计网络输出融合，得到高分辨率图像。

3.根据权利要求2所述的基于上下文相关多任务深度学习的图像超分辨算法，其特征在于，步骤S4中将训练好的神经网络用于处理新的输入静态低分辨率图像时，输入的静态低分辨率图像先经过图像裁剪或者下采样预处理操作，使得输入的静态低分辨率图像的分辨率与网络训练时所采用的LR图像分辨率一致；新输入的静态低分辨率图像输入训练好的神经网络之后，经过卷积和加权平均等各种操作，会输出高分辨率的边缘图、初步的高分辨率的图像和高分辨率的图像的残差图，其中初步的高分辨率的图像和高分辨率的图像的残差图通过线性叠加的方式进行融合，得到最终的高分辨率的图像。