[发明专利]一种基于匹配与融合的立体图像颜色校正方法及系统

权利要求书

1.一种基于匹配与融合的立体图像颜色校正方法，其特征在于，包括以下步骤：

步骤S1：对数据集中无失真立体图像的左或右视图进行颜色失真处理，产生具有颜色差异的失真立体图像，失真立体图像中进行了颜色失真处理的视图为目标图像，另一个视图为参考图像，建立包括无失真立体图像和失真立体图像的训练集；

步骤S2：构建基于视差注意力的颜色校正初始模型及其损失函数，以参考图像和目标图像作为颜色校正初始模型的输入，在训练集上通过最小化损失函数学习颜色校正初始模型的最优参数得到训练好的颜色校正初始模型，利用颜色校正初始模型对目标图像进行初步颜色校正得到初始校正图；

步骤S3：将初始校正图和参考图像作为预训练的光流网络FlowNet2.0的输入，得到从初始校正图到参考图像的光流，并利用光流对参考图像进行图像变形和空洞填充得到匹配目标图；

步骤S4：构建基于U-net模型架构的图像融合网络模型以及适用于颜色校正的损失函数，在训练集上使用该损失函数训练图像融合网络模型，通过最小化损失函数学习图像融合网络模型的最优参数得到训练好的图像融合网络模型，将参考图像、目标图像、初始校正图和匹配目标图共同作为图像融合网络模型的输入，融合四张图像的特征得到校正结果；

步骤S5：利用步骤S2到S4训练好的模型对待校正的失真立体图像进行颜色校正；

所述步骤S2中，构建基于视差注意力的颜色校正初始模型的方法为：首先通过共享参数的多尺度特征提取模块分别提取参考图像和目标图像具有密集像素采样率的多尺度融合特征，所述多尺度特征提取模块先通过卷积层和残差块进行初步特征提取，然后将提取的初步特征经过残差空洞空间金字塔模块得到多尺度特征，再经过残差块进行多尺度特征融合，接下来再经过另一组残差空洞空间金字塔模块和残差块进行进一步的多尺度特征提取和融合，最终得到具有丰富上下文信息和强判别力的多尺度融合特征；然后将提取出的多尺度融合特征同时输入视差注意力模块生成立体图像对，即参考图像-目标图像对的视差注意力图M_left→right和M_right→left，视差注意力图可以反映出参考图像与目标图像的像素对应关系，利用视差注意力图和有效掩码指导两张图像特征，使用1×1的卷积进行信息融合，使结果保留目标图像的结构且像素颜色与参考图像中对应位置一致；最后将融合后的特征通过残差块、像素重组和卷积层进行图像重建得到初始校正图；

所述步骤S4中，构建基于U-net模型架构的图像融合网络模型的方法为：首先把参考图像、目标图像、初始校正图和匹配目标图分别输入编码器进行特征提取得到对应的四个特征图，编码器的结构表示为[Conv1+LeakyReLU]，[Conv2+BN]，其中Conv表示卷积层，用四元组表示卷积层的参数设置，四元组的元素包括输入通道数、输出通道数、卷积核尺寸和步长，Conv1＝(3,32,5,2)，Conv2＝(32,64,5,2)，LeakyReLU为激活函数，BN表示批标准化，编码器之间不进行参数共享；然后拼接四个特征图并输入融合层[LeakyReLU+Conv3+BN]进行特征融合，Conv3＝(256,256,5,2)，接着将融合后的特征输入残差块；最后使用解码器进行反卷积输出残差图，解码器结构表示为[ReLU+TConv1+BN]，[ReLU+TConv2+BN]，[ReLU+TConv3+BN+ReLU+Conv4]，其中ReLU为激活函数，TConv表示反卷积，卷积参数设置分别为：TConv1＝(512,128,5,2)，TConv2＝(384,128,5,2)，TConv3＝(256,32,5,2)，Conv4＝(32,3,1,1)；将解码器输出的残差图与目标图像相加得到最终的校正结果图像I_result，通过这种残差训练的方式保持结果与目标图像的结构一致性和清晰度。