[发明专利]一种基于全卷积神经网络的单图像增强方法

摘要

本发明公开了一种基于全卷积神经网络的单图像增强方法，首先，考虑到单曝光图像丢失的信息可由多曝光序列来描述，利用构建的预测曝光网络来产生与输入的图像曝光不同的低曝光图像和高曝光图像，以此构建出一个多曝光序列；接着，为避免手动提取融合特征导致增强方法鲁棒性低的问题，利用构建的曝光融合网络来完成特征提取、特征融合以及图像重建任务；最后，考虑到预测曝光网络中的反卷积层会造成输出的图像出现棋盘伪像，采用与人眼感知相关的结构相异性损失来训练预测曝光网络以减轻这种伪像；优点是其既能提高图像整体对比度，又能恢复一定的图像曝光不足和曝光过度区域的信息。

主权项

1.一种基于全卷积神经网络的单图像增强方法，其特征在于包括以下步骤：步骤一：构建两个级联网络，第一个网络为预测曝光网络、第二个网络为曝光融合网络；预测曝光网络包括十二层，依次分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层、第一反卷积层、第一跳转连接层、第二反卷积层、第二跳转连接层、第三反卷积层、第三跳转连接层、第四反卷积层、第五卷积层；预测曝光网络中的第一卷积层至第四卷积层各自通过卷积核对输入的图像进行卷积提取出特征图，将第一卷积层的输入记为Inormal，将第一卷积层的输出记为F1e，F1e＝A(W1e*Inormal+b1e)，其中，第一卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，第一卷积层的卷积步长为2，第一卷积层输入的通道数为m1e，第一卷积层输出的通道数为n1e，W1e表示第一卷积层的卷积核，W1e的维数为k1e×k1e，符号“*”为卷积操作符号，b1e表示维数为1×n1e的偏置项；令i表示卷积层的索引号，i＝2,3,4，i＝2时代表第二卷积层，i＝3时代表第三卷积层，i＝4时代表第四卷积层，索引号为i的卷积层的输入为F(i‑1)e，将索引号为i的卷积层的输出记为Fie，Fie＝A(Wie*F(i‑1)e+bie)，其中，索引号为i的卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，索引号为i的卷积层的卷积步长为2，索引号为i的卷积层输入的通道数为mie，索引号为i的卷积层输出的通道数为nie，Wie表示索引号为i的卷积层的卷积核，Wie的维数为kie×kie，bie表示维数为1×nie的偏置项；预测曝光网络中的第一反卷积层至第四反卷积层各自通过卷积核对输入的特征图进行上采样以恢复到第一卷积层输入的图像的尺寸，第一反卷积层的输入为F4e，将第一反卷积层的输出记为R1d，R1d＝A(W1d⊙F4e+b1d)，其中，第一反卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，第一反卷积层的反卷积步长为2，第一反卷积层输入的通道数为m1d，第一反卷积层输出的通道数为n1d，W1d表示第一反卷积层的卷积核，W1d的维数为k1d×k1d，符号“⊙”为反卷积操作符号，b1d表示维数为1×n1d的偏置项；令j表示反卷积层的索引号，j＝2,3,4，j＝2时代表第二反卷积层，j＝3时代表第三反卷积层，j＝4时代表第四反卷积层，索引号为j的反卷积层的输入为R(j‑1)d，将索引号为j的反卷积层的输出记为Rjd，Rjd＝A(Wjd⊙R(j‑1)d+bjd)，其中，索引号为j的反卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，索引号为j的反卷积层的反卷积步长为2，索引号为j的反卷积层输入的通道数为mjd，索引号为j的反卷积层输出的通道数为njd，Wjd表示索引号为j的反卷积层的卷积核，Wjd的维数为kjd×kjd，bjd表示维数为1×njd的偏置项；预测曝光网络中的第一跳转连接层至第三跳转连接层各自通过连接算子和卷积核使输出的图像具有更多来自第一卷积层输入的图像的细节信息，令h表示跳转连接层的索引号，h＝1,2,3，h＝1时代表第一跳转连接层，h＝2时代表第二跳转连接层，h＝3时代表第三跳转连接层，索引号为h的跳转连接层的输入为F(4‑h)e和Rhd，将索引号为h的跳转连接层的输出记为R'hd，R'hd＝A(Whs*concat[F(4‑h)e,Rhd]+bhs)，再令Rhd＝R'hd，其中，索引号为h的跳转连接层的激活函数为指数线性单元函数，A()表示指数线性单元函数，索引号为h的跳转连接层的卷积步长为1，索引号为h的跳转连接层输入的通道数为mhs，索引号为h的跳转连接层输出的通道数为nhs，Whs表示索引号为h的跳转连接层的卷积核，Whs的维数为khs×khs，bhs表示维数为1×nhs的偏置项，concat[]表示连接算子，concat[F(4‑h)e,Rhd]表示将索引号为4‑h的卷积层的输出F(4‑h)e与索引号为h的反卷积层的输出Rhd在通道数维度进行连接，Rhd＝R'hd中的“＝”为赋值符号；预测曝光网络中的第五卷积层通过卷积核将输入的特征图重建为预测曝光后的图像，第五卷积层的输入为R4d，将第五卷积层的输出记为Iout，Iout＝A(Wp*R4d+bp)，其中，第五卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，第五卷积层的卷积步长为1，第五卷积层输入的通道数为mp，第五卷积层输出的通道数为np，Wp表示第五卷积层的卷积核，Wp的维数为kp×kp，bp表示维数为1×np的偏置项；曝光融合网络包括七层，依次分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层；曝光融合网络中的第一卷积层至第三卷积层各自通过卷积核对输入的图像进行卷积提取出特征图，第一卷积层的输入有三幅图像，分别为Inormal、Ilow和Ihigh，将针对Inormal的第一卷积层的输出记为Fnormal,1，Fnormal,1＝A(W1E*Inormal+b1E)，将针对Ilow的第一卷积层的输出记为Flow,1，Flow,1＝A(W1E*Ilow+b1E)，将针对Ihigh的第一卷积层的输出记为Fhigh,1,Fhigh,1＝A(W1E*Ihigh+b1E)，其中，第一卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，第一卷积层的卷积步长为1，第一卷积层输入的通道数为m1E，第一卷积层输出的通道数为n1E，W1E表示第一卷积层的卷积核，W1E的维数为k1E×k1E，b1E表示维数为1×n1E的偏置项；令p表示卷积层的索引号，p＝2,3，p＝2时代表第二卷积层，p＝3时代表第三卷积层，针对Inormal的索引号为p的卷积层的输入为Fnormal,p‑1，将针对Inormal的索引号为p的卷积层的输出记为Fnormal,p，Fnormal,p＝A(WpE*Fnormal,p‑1+bpE)，针对Ilow的索引号为p的卷积层的输入为Flow,p‑1，将针对Ilow的索引号为p的卷积层的输出记为Flow,p，Flow,p＝A(WpE*Flow,p‑1+bpE)，针对Ihigh的索引号为p的卷积层的输入为Fhigh,p‑1，将针对Ihigh的索引号为p的卷积层的输出记为Fhigh,p，Fhigh,p＝A(WpE*Fhigh,p‑1+bpE)，其中，索引号为p的卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，索引号为p的卷积层的卷积步长为1，索引号为p的卷积层输入的通道数为mpE，索引号为p的卷积层输出的通道数为npE，WpE表示索引号为p的卷积层的卷积核，WpE的维数为kpE×kpE，bpE表示维数为1×npE的偏置项；曝光融合网络中的第四卷积层通过连接算子对输入的特征图在通道数维度进行连接，并通过卷积核进行特征融合，第四卷积层的输入有三类特征图，分别为Flow,3,Fnormal,3,Fhigh,3，将第四卷积层的输出记为Ffusion，Ffusion＝A(Wfusion*concat[Flow,3,Fnormal,3,Fhigh,3]+bfusion)，其中，第四卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，第四卷积层的卷积步长为1，第四卷积层输入的通道数为mfusion，第四卷积层输出的通道数为nfusion，Wfusion表示第四卷积层的卷积核，Wfusion的维数为kfusion×kfusion，bfusion表示维数为1×nfusion的偏置项，concat[]表示连接算子，concat[Flow,3,Fnormal,3,Fhigh,3]表示将Flow,3,Fnormal,3,Fhigh,3在通道数维度进行连接；曝光融合网络中的第五卷积层至第七卷积层各自通过卷积核对输入的特征图进行重建，第五卷积层的输入为Ffusion，将第五卷积层的输出记为Ienhanced,5，Ienhanced,5＝A(W5D*Ffusion+b5D)，其中，第五卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，第五卷积层的卷积步长为1，第五卷积层输入的通道数为m5D，第五卷积层输出的通道数为n5D，W5D表示第五卷积层的卷积核，W5D的维数为k5D×k5D，b5D表示维数为1×n5D的偏置项；令g表示卷积层的索引号，g＝6,7，g＝6时代表第六卷积层，g＝7时代表第七卷积层，索引号为g的卷积层的输入为Ienhanced,g‑1，将索引号为g的卷积层的输出记为Ienhanced,g，Ienhanced,g＝A(WgD*Ienhanced,g‑1+bgD)，其中，索引号为g的卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，索引号为g的卷积层的卷积步长为1，索引号为g的卷积层输入的通道数为mgD，索引号为g的卷积层输出的通道数为ngD，WgD表示索引号为g的卷积层的卷积核，WgD的维数为kgD×kgD，bgD表示维数为1×ngD的偏置项；步骤二：选取个多曝光序列，且设定每个多曝光序列对应有一幅已知的高质量的融合图像，其中，然后将所有多曝光序列中的正常曝光图像和低曝光图像构成第一预测训练集，并将所有多曝光序列中的正常曝光图像和高曝光图像构成第二预测训练集；接着将第一预测训练集中的低曝光图像作为标签图像，将第一预测训练集中的正常曝光图像记为I_normal并作为输入，输入到构建好的预测曝光网络中进行训练，训练得到对应的预测低曝光图像，记为I_low，即I_out为I_low；并将第二预测训练集中的高曝光图像作为标签图像，将第二预测训练集中的正常曝光图像记为I_normal并作为输入，输入到构建好的预测曝光网络中进行训练，训练得到对应的预测高曝光图像，记为I_high，即I_out为I_high；之后将所有多曝光序列中的正常曝光图像I_normal、对应的预测低曝光图像I_low、对应的预测高曝光图像I_high、对应的高质量的融合图像构成融合训练集；再将融合训练集中的高质量的融合图像作为标签图像，将融合训练集中的正常曝光图像I_normal、对应的预测低曝光图像I_low、对应的预测高曝光图像I_high作为输入，输入到构建好的曝光融合网络中进行训练，训练得到对应的增强图像，记为I_enhanced，即I_enhanced,7为I_enhanced；训练结束后得到了预测曝光网络和曝光融合网络中的各卷积核的最佳参数及对应的最佳偏置项，得到了级联训练网络；步骤三：选取一个多曝光序列作为测试序列；然后将测试序列中的正常曝光图像记为Itest,normal；接着将Itest,normal作为输入，输入到级联训练网络中，级联训练网络输出Itest,normal对应的增强图像，记为Itest,enhanced。