[发明专利]一种多曝光图像融合方法、装置、设备及存储介质

权利要求书

1.一种多曝光图像融合方法，其特征在于，包括：

获取至少两张待融合的原始图像；

基于训练后的预增强网络对每一张所述原始图像进行预增强处理，得到对应的预增强图像，其中，所述预增强网络是以各种曝光水平的样本图像为训练样本，以对应的预增强样本图像为标签训练得到的，所述预增强样本图像的曝光水平为参考曝光水平；所述预增强网络由卷积层和ReLU激活函数、三个残差块、卷积层和Sigmoid激活函数组成；所述预增强网络包括第一预增强网络和第二预增强网络；所述第一预增强网络是以曝光水平低于所述参考曝光水平的样本图像为训练样本，以对应的预增强样本图像为标签训练得到的，所述第二预增强网络是以曝光水平不低于所述参考曝光水平的样本图像为训练样本，以对应的预增强样本图像为标签训练得到的；

所述基于训练后的预增强网络对每一张所述原始图像进行预增强处理，包括：基于训练后的第一预增强网络对每一张曝光水平低于所述参考曝光水平的原始图像进行预增强处理；基于训练后的第二预增强网络对每一张曝光水平不低于所述参考曝光水平的原始图像进行预增强处理；

以与基准原始图像对应的预增强图像为基准，对每一张其余的预增强图像进行单应性矩阵估计，得到所述其余的预增强图像各自的单应性矩阵，其中，所述基准原始图像是按照预设规则确定的所述原始图像中的一张图像；

对于每一其余的预增强图像，基于所述其余的预增强图像的单应性矩阵，对与所述其余的预增强图像对应的原始图像进行单应性变换，得到与每一其余的预增强图像对应的变换后图像；

以融合图像趋近于所述参考曝光水平为目标，利用训练后的融合网络，融合所述基准原始图像和各个所述变换后图像，其中，所述融合网络是以多张曝光水平不同的非完全对齐的样本图像为训练样本，以对应的参考图像为标签训练得到的，所述非完全对齐的样本图像的数量与所述原始图像的数量一致，所述参考图像是与基准样本图像对应的预增强样本图像，所述基准样本图像是按照所述预设规则确定的所述非完全对齐的样本图像中的一张图像。

2.根据权利要求1所述的方法，其特征在于，所述融合网络包括依次连接的编码器、合并层和解码器；

所述编码器的数量与所述原始图像的数量一致，用于提取输入到所述编码器的图像的特征；

所述合并层，用于合并各个所述编码器所提取的特征，得到合并特征；

所述解码器，用于根据所述合并特征进行解码，得到融合图像。

3.根据权利要求2所述的方法，其特征在于，每一所述编码器包括依次连接的若干个编码器隐层，所述解码器包括依次连接的若干个解码器隐层，每一编码器隐层与具备和其输出通道数相同数量的输入通道的解码器隐层相连。

4.根据权利要求1所述方法，其特征在于，与任一种曝光水平的样本图像对应的预增强样本图像，是对若干张不同曝光水平且与所述样本图像完全对齐的图像进行融合得到的图像。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述预设规则为将至少两张图像中的曝光水平较低的图像作为基准图像，或，将至少两张图像中的曝光水平较高的图像作为基准图像。