[发明专利]基于聚合膨胀卷积网络的图像去模糊方法有效
申请号: | 201810008937.1 | 申请日: | 2018-01-04 |
公开(公告)号: | CN108376387B | 公开(公告)日: | 2021-09-17 |
发明(设计)人: | 张文强;缪弘;白建松;张浩;张睿;路红;郑骁庆;彭俊杰;薛向阳;唐龙福;李敬来;王洪荣 | 申请(专利权)人: | 复旦大学 |
主分类号: | G06T5/00 | 分类号: | G06T5/00;G06N3/08;G06N3/04 |
代理公司: | 上海正旦专利代理有限公司 31200 | 代理人: | 陆飞;陆尤 |
地址: | 200433 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 聚合 膨胀 卷积 网络 图像 模糊 方法 | ||
1.一种基于聚合膨胀卷积网络的图像去模糊方法,其特征在于,具体步骤如下:
(1)、构建深度神经网络;
(2)、训练深度神经网络;
(3)、利用训练好的网络模型进行图像去模糊;
其中:
步骤(1)所述的构建深度神经网络,具体过程如下:
(11)、构造生成器;
(12)、构造鉴别器;
步骤(2)所述的训练深度神经网络,具体过程如下:
(21)、构造损失函数;
(22)、使用公开的、真实场景下的模糊图像数据集,训练构造好的神经网络;
其中,步骤(11)中所述构造生成器,具体过程如下:
(111)、构造网络头部:头部包含1个卷积核大小为5×5的卷积层,将输入的3通道RGB图像变换为一个64通道的特征映射;
(112)、构造网络中部:中部顺序地将自编码器模块堆叠起来,自编码器模块共2个;每一个自编码器模块还包含一个残差连接,将自编码器模块的输入与输出相加,作为自编码器模块的输出;具体过程如下:
(1121)、构造自编码器模块;具体过程如下:
(11211)、构造基于聚合膨胀卷积的残差模块,称为基础模块;具体过程如下:
(112111)、构造C路不同的路径,其中每一条路径都包含两个卷积核大小为3×3的卷积层,并且在每个卷积层之前都有一个激活层;第一层卷积层的输出与第二层卷积层的输入通道数相同,都为D;每条路径除了卷积层的膨胀系数都相同;C条路径中,每个卷积层的膨胀系数从1增加到D;C与D的乘积为一个常数Chr,Chr为基础模块输入的特征映射通道数;
(112112)、将C路不同的路径并联起来,基础模块的输入通过每一条路径,输出为每一条路径的输出之和;
(112113)、为基础模块添加残差连接,基础模块的输入与输出相加,作为基础模块的新输出;
(11212)、定义下采样组:一个下采样组由顺序连接的一个基础模块和一个最大池化层组成;
(11213)、定义上采样组:一个上采样组由顺序连接的一个最近邻插值层和一个基础模块组成;
(11214)、顺序连接L个下采样组,一个基础模块与L个上采样组,其中L为上采样组、下采样组的数量;
(11215)、在第i个下采样组与第L-i个上采样组中添加跳跃连接,每个跳跃连接将第i个下采样组中的基础模块的输出与第L-i个上采样组中最近邻插值层的输出相加,作为第L-i个上采样组中最近邻插值层的新输出,其中i为下采样组的编号,
(1122)、为每个自编码器模块添加残差连接;
(1123)、将带残差连接的自编码器模块顺序堆叠起来;
(113)、构造网络尾部:尾部包含1个非线性激活层和一个卷积核大小为5×5的卷积层,将网络中部得到的特征映射变换为输出的3通道图像;
步骤(12)中所述构造鉴别器,具体过程如下:
(121)、定义4个不同的卷积层,每个卷积层的卷积核大小都为3×3,步长都为2,输出的特征映射通道数从64开始,不断翻倍,直至最后一层变为1,即为64,128,256,512,每一个卷积层后连接一个非线性激活层;
(122)、定义最后一层卷积层,卷积核大小为3×3,步长为1,输出的特征映射通道数为1;
(123)、将之前定义的5层卷积层顺序连接起来;
步骤(21)中所述构造损失函数,具体过程如下:
(211)、构造图像内容损失函数,损失函数为l1损失函数,具体形式为:
其中,x,y分别表示生成器的输出图像与真实图像,n表示图像中的元素总数;
(212)、构造生成器的对抗损失函数,具体形式为:
其中,表示期望,G和D分别表示生成器和鉴别器,B表示模糊图像集合,c表示生成器的输出图像想要得到的标签;
(213)、构造鉴别器的对抗损失函数,具体形式为:
其中,G和D分别表示生成器和鉴别器,B和S分别表示模糊图像集合和清晰图像集合,a和b分别表示生成图像和真实图像的标签;
步骤(22)中所述使用公开的、真实场景下的模糊图像数据集,训练构造好的神经网络,具体过程如下:
(221)、获取公开的、真实场景下的模糊图像数据集;
(222)、计算鉴别器的对抗损失函数,训练一轮鉴别器;
(223)、计算图像内容损失函数与生成器的对抗损失函数,训练一轮生成器;
(224)、不断重复步骤(222)与(223),直至模型收敛。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于复旦大学,未经复旦大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810008937.1/1.html,转载请声明来源钻瓜专利网。