[发明专利]一种基于全卷积神经网络的立体高动态范围成像方法

权利要求书

1.一种基于全卷积神经网络的立体高动态范围成像方法，其特征在于包括以下步骤：

步骤一：构建三个全卷积神经网络，分别为曝光校准网络、空洞填补网络、HDR图像融合网络；

1)曝光校准网络的构建过程为：

曝光校准网络包括用于在图像空间压缩和编码图像的第一编码器、用于进一步提取图像的高水平特征并防止梯度弥散和梯度爆炸问题的第一残差块组、用于重建目标图像的第一解码器三部分；

第一编码器由依次连接的第一卷积层、第二卷积层和第三卷积层组成，第一卷积层的输入端接收一幅三通道的宽度为W且高度为H的第一彩色图像，第一卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为F_cE,1；第二卷积层的输入端接收F_cE,1中的所有特征图，第二卷积层的输出端输出64幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为F_cE,2；第三卷积层的输入端接收F_cE,2中的所有特征图，第三卷积层的输出端输出128幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为F_cE,3；其中，第一卷积层的卷积核的尺寸为7×7、卷积步长为1、输入通道数为3、输出通道数为32，第二卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为32、输出通道数为64，第三卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为64、输出通道数为128，第一卷积层、第二卷积层和第三卷积层的激活函数均为ReLU；

第一残差块组由依次连接的第一残差块、第二残差块、第三残差块和第四残差块组成，第一残差块的输入端接收F_cE,3中的所有特征图，第一残差块的输出端输出128幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为F_cR,1；第二残差块的输入端接收F_cR,1中的所有特征图，第二残差块的输出端输出128幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为F_cR,2；第三残差块的输入端接收F_cR,2中的所有特征图，第三残差块的输出端输出128幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为F_cR,3；第四残差块的输入端接收F_cR,3中的所有特征图，第四残差块的输出端输出128幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为F_cR,4；

第一解码器由依次连接的第一反卷积层、第二反卷积层和第四卷积层组成，第一反卷积层的输入端接收F_cR,4中的所有特征图，第一反卷积层的输出端输出64幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为F_cD,1；第二反卷积层的输入端接收F_cD,1中的所有特征图，第二反卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为F_cD,2；第四卷积层的输入端接收F_cD,2中的所有特征图，第四卷积层的输出端输出一幅三通道的宽度为W且高度为H的重建彩色图像；其中，第一反卷积层的卷积核的尺寸为3×3、反卷积步长为2、输入通道数为128、输出通道数为64，第二反卷积层的卷积核的尺寸为3×3、反卷积步长为2、输入通道数为64、输出通道数为32，第四卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为32、输出通道数为3，第一反卷积层、第二反卷积层的激活函数均为ReLU，第四卷积层的激活函数为Tanh；

2)空洞填补网络的构建过程为：

空洞填补网络包括用于提取图像的曝光信息的额外曝光信息编码器、用于提取图像的邻域信息的邻域信息编码器、用于整合额外曝光信息编码器和邻域信息编码器的输出并重建目标图像的第二解码器三部分；

额外曝光信息编码器由依次连接的第七卷积层、第八卷积层和第九卷积层组成，第七卷积层的输入端接收一幅三通道的宽度为W且高度为H的第二彩色图像，第七卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为F_hE,1；第八卷积层的输入端接收F_hE,1中的所有特征图，第八卷积层的输出端输出64幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为F_hE,2；第九卷积层的输入端接收F_hE,2中的所有特征图，第九卷积层的输出端输出128幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为F_hE,3；其中，第七卷积层的卷积核的尺寸为7×7、卷积步长为1、输入通道数为3、输出通道数为32，第八卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为32、输出通道数为64，第九卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为64、输出通道数为128，第七卷积层、第八卷积层和第九卷积层的激活函数均为ReLU；

邻域信息编码器由依次连接的第十卷积层、第十一卷积层和第十二卷积层组成，第十卷积层的输入端接收一幅三通道的宽度为W且高度为H的第三彩色图像，第十卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为F_hN,1；第十一卷积层的输入端接收F_hN,1中的所有特征图，第十一卷积层的输出端输出64幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为F_hN,2；第十二卷积层的输入端接收F_hN,2中的所有特征图，第十二卷积层的输出端输出128幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为F_hN,3；其中，第十卷积层的卷积核的尺寸为7×7、卷积步长为1、输入通道数为3、输出通道数为32，第十一卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为32、输出通道数为64，第十二卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为64、输出通道数为128，第十卷积层、第十一卷积层和第十二卷积层的激活函数均为ReLU；

第二解码器由依次连接的第一级联层、第三反卷积层、第四反卷积层和第十三卷积层组成，第一级联层的输入端接收F_hE,3中的所有特征图和F_hN,3中的所有特征图，第一级联层对F_hE,3中的所有特征图和F_hN,3中的所有特征图在特征图数目维度进行级联，第一级联层的输出端输出256幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为F_hD,1；第三反卷积层的输入端接收F_hD,1中的所有特征图，第三反卷积层的输出端输出64幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为F_hD,2；第四反卷积层的输入端接收F_hD,2中的所有特征图，第四反卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为F_hD,3；第十三卷积层的输入端接收F_hD,3中的所有特征图，第十三卷积层的输出端输出一幅三通道的宽度为W且高度为H的重建彩色图像；其中，第三反卷积层的卷积核的尺寸为3×3、反卷积步长为2、输入通道数为256、输出通道数为64，第四反卷积层的卷积核的尺寸为3×3、反卷积步长为2、输入通道数为64、输出通道数为32，第十三卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为32、输出通道数为3，第三反卷积层、第四反卷积层的激活函数均为ReLU，第十三卷积层的激活函数为Tanh；

3)HDR图像融合网络的构建过程为：

HDR图像融合网络包括用于提取图像的融合特征的第二编码器、用于进一步提取图像的高水平融合特征并防止梯度弥散和梯度爆炸问题的第二残差块组、用于重建目标图像的第三解码器三部分；

第二编码器由依次连接的第二级联层、第十四卷积层和第十五卷积层组成，第二级联层的输入端接收四幅三通道的宽度为W且高度为H的彩色图像，分别为第四彩色图像、第五彩色图像、第六彩色图像、第七彩色图像，第二级联层对四幅彩色图像在图像数目维度进行级联，第二级联层的输出端输出12幅宽度为W且高度为H的图像，将输出的所有图像构成的集合记为F_hdrE,1；第十四卷积层的输入端接收F_hdrE,1中的所有图像，第十四卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为F_hdrE,2；第十五卷积层的输入端接收F_hdrE,2中的所有特征图，第十五卷积层的输出端输出64幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为F_hdrE,3；其中，第十四卷积层的卷积核的尺寸为7×7、卷积步长为1、输入通道数为12、输出通道数为32，第十五卷积层的卷积核的尺寸为3×3、卷积步长为2、输入通道数为32、输出通道数为64，第十四卷积层、第十五卷积层的激活函数均为ReLU；

第二残差块组由依次连接的第五残差块、第六残差块、第七残差块和第八残差块组成，第五残差块的输入端接收F_hdrE,3中的所有特征图，第五残差块的输出端输出64幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为F_hdrR,1；第六残差块的输入端接收F_hdrR,1中的所有特征图，第六残差块的输出端输出64幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为F_hdrR,2；第七残差块的输入端接收F_hdrR,2中的所有特征图，第七残差块的输出端输出64幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为F_hdrR,3；第八残差块的输入端接收F_hdrR,3中的所有特征图，第八残差块的输出端输出64幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为F_hdrR,4；

第三解码器由依次连接的第五反卷积层和第十六卷积层组成，第五反卷积层的输入端接收F_hdrR,4中的所有特征图，第五反卷积层的输出端输出32幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为F_hdrD,1；第十六卷积层的输入端接收F_hdrD,1中的所有特征图，第十六卷积层的输出端输出一幅三通道的宽度为W且高度为H的重建彩色图像；其中，第五反卷积层的卷积核的尺寸为3×3、反卷积步长为2、输入通道数为64、输出通道数为32，第十六卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为32、输出通道数为3，第五反卷积层的激活函数均为ReLU，第十六卷积层的激活函数为Sigmoid；

步骤二：选取Num组左视点多曝光图像和对应的Num幅高质量参考左视点高动态范围图像，以及对应于左视点多曝光图像的Num组右视点多曝光图像和对应的Num幅高质量参考右视点高动态范围图像，每组左视点多曝光图像包括左视点欠曝光图像、左视点过曝光图像和左视点正常曝光图像，每组右视点多曝光图像包括右视点欠曝光图像、右视点过曝光图像和右视点正常曝光图像；其中，Num＞1，上述各幅图像的宽度为W且高度为H；

步骤三：将每幅左视点正常曝光图像作为标签图像，并将对应的左视点欠曝光图像作为第一彩色图像输入到曝光校准网络中进行训练，得到每幅左视点欠曝光图像对应的重建左视点正常曝光图像；然后将每幅右视点正常曝光图像作为标签图像，并将对应的右视点过曝光图像作为第一彩色图像输入到曝光校准网络中进行训练，得到每幅右视点过曝光图像对应的重建右视点正常曝光图像；训练结束后得到曝光校准网络中的各卷积核和偏置项的最佳参数，即得到训练有素的曝光校准网络模型；

步骤四：对每幅重建左视点正常曝光图像和对应的重建右视点正常曝光图像进行立体匹配，得到每幅重建左视点正常曝光图像的左视点视差图、每幅重建右视点正常曝光图像的右视点视差图；然后根据每幅重建左视点正常曝光图像的左视点视差图，对对应的左视点欠曝光图像进行前向绘制，得到对应的绘制右视点欠曝光图像；并根据每幅重建右视点正常曝光图像的右视点视差图，对对应的右视点过曝光图像进行前向绘制，得到对应的绘制左视点过曝光图像；

步骤五：将每幅左视点过曝光图像作为标签图像，并将对应的左视点欠曝光图像作为第二彩色图像、将对应的绘制左视点过曝光图像作为第三彩色图像输入到空洞填补网络中进行训练，得到对应的重建左视点过曝光图像；然后将每幅右视点欠曝光图像作为标签图像，并将对应的右视点过曝光图像作为第二彩色图像、将对应的绘制右视点欠曝光图像作为第三彩色图像输入到空洞填补网络中进行训练，得到对应的重建右视点欠曝光图像；训练结束后得到空洞填补网络中的各卷积核和偏置项的最佳参数，即得到训练有素的空洞填补网络模型；

步骤六：基于相机响应函数和曝光值，将每幅左视点欠曝光图像转换到辐照域，将得到的图像作为左视点对应的第一初始高动态范围图像；同样，基于相机响应函数和曝光值，将每幅左视点过曝光图像转换到辐照域，将得到的图像作为左视点对应的第二初始高动态范围图像；

或基于相机响应函数和曝光值，将每幅右视点欠曝光图像转换到辐照域，将得到的图像作为右视点对应的第一初始高动态范围图像；同样，基于相机响应函数和曝光值，将每幅右视点过曝光图像转换到辐照域，将得到的图像作为右视点对应的第二初始高动态范围图像；

步骤七：将每幅高质量参考左视点高动态范围图像作为标签图像，并将左视点对应的第一初始高动态范围图像、左视点对应的第二初始高动态范围图像、左视点欠曝光图像、左视点过曝光图像对应作为第四彩色图像、第五彩色图像、第六彩色图像、第七彩色图像输入到HDR图像融合网络中进行训练，得到对应的重建高动态范围图像；训练结束后得到HDR图像融合网络中的各卷积核和偏置项的最佳参数，即得到训练有素的HDR图像融合网络模型；

或将每幅高质量参考右视点高动态范围图像作为标签图像，并将右视点对应的第一初始高动态范围图像、右视点对应的第二初始高动态范围图像、右视点欠曝光图像、右视点过曝光图像对应作为第四彩色图像、第五彩色图像、第六彩色图像、第七彩色图像输入到HDR图像融合网络中进行训练，得到对应的重建高动态范围图像；训练结束后得到HDR图像融合网络中的各卷积核和偏置项的最佳参数，即得到训练有素的HDR图像融合网络模型；

步骤八：选取一组具有不同曝光水平的立体图像作为测试图像，将测试图像中的左视点欠曝光图像记为I_{test,left_under}，将测试图像中的右视点过曝光图像记为I_{test,right_over}；

步骤九：将I_{test,left_under}作为第一彩色图像输入到曝光校准网络模型中，测试得到重建左视点正常曝光图像，记为I_{rec-left_normal}；然后将I_{test,right_over}作为第一彩色图像输入到曝光校准网络模型中，测试得到重建右视点正常曝光图像，记为I_{rec-right_normal}；

步骤十：对I_{rec-left_normal}和I_{rec-right_normal}进行立体匹配，得到I_{rec-left_normal}的左视点视差图、I_{rec-right_normal}的右视点视差图；然后根据I_{rec-left_normal}的左视点视差图，对I_{test,left_under}进行前向绘制，得到绘制右视点欠曝光图像，记为I_{init-right_under}；并根据I_{rec-right_normal}的右视点视差图，对I_{test,right_over}进行前向绘制，得到绘制左视点过曝光图像，记为I_{init-left_over}；

步骤十一：将I_{test,left_under}作为第二彩色图像、将I_{init-left_over}作为第三彩色图像输入到空洞填补网络模型中，测试得到重建左视点过曝光图像，记为I_{rec-left_over}；然后将I_{test,right_over}作为第二彩色图像、将I_{init-right_under}作为第三彩色图像输入到空洞填补网络模型中，测试得到重建右视点欠曝光图像，记为I_{rec-right_under}；

步骤十二：基于相机响应函数和曝光值，将I_{test,left_under}转换到辐照域，将得到的图像作为左视点对应的第一初始高动态范围图像，记为I_{1,left_init-hdr}；同样，基于相机响应函数和曝光值，将I_{rec-left_over}转换到辐照域，将得到的图像作为左视点对应的第二初始高动态范围图像，记为I_{2,left_init-hdr}；然后将I_{1,left_init-hdr}、I_{2,left_init-hdr}、I_{test,left_under}、I_{rec-left_over}对应作为第四彩色图像、第五彩色图像、第六彩色图像、第七彩色图像输入到HDR图像融合网络模型中，测试得到左视点对应的重建高动态范围图像，记为I_{rec-left_hdr}；

基于相机响应函数和曝光值，将I_{rec-right_under}转换到辐照域，将得到的图像作为右视点对应的第一初始高动态范围图像，记为I_{1,right_init-hdr}；同样，基于相机响应函数和曝光值，将I_{test,right_over}转换到辐照域，将得到的图像作为右视点对应的第二初始高动态范围图像，记为I_{2,right_init-hdr}；然后将I_{1,right_init-hdr}、I_{2,right_init-hdr}、I_{rec-right_under}、I_{test,right_over}对应作为第四彩色图像、第五彩色图像、第六彩色图像、第七彩色图像输入到HDR图像融合网络模型中，测试得到右视点对应的重建高动态范围图像，记为I_{rec-right_hdr}；

将I_{rec-left_hdr}和I_{rec-right_hdr}组成立体高动态范围图像。