[发明专利]一种基于深度学习的图像校正方法

权利要求书

1.一种基于深度学习的图像校正方法，其特征在于，用于对显微物镜拍摄图片的色差进行校正，包括以下步骤：

(1)使用待校正的图像采集设备拍摄一组有色差图像，再使用色差较小的相同放大倍率的图像采集设备对相同的景物拍摄另一组图像作为参考图像；将有色差图像和参考图像一一对应，构成多组图像对；

(2)将每组图像对中的有色差图像和参考图像进行图像对准，并将对准后的多组图像对进行扩增后划分为训练集和测试集；

(3)构建图像校正模型，所述的图像校正模型内包含一个权重预测网络和n个可学习的3D查找表；所述的3D查找表用于建立有色差图像到预测参考图像之间的映射，所述权重预测网络的通道数与3D查找表的数量相同；

所述3D查找表的输入为分辨率为224×224、具有RGB三个颜色通道的彩色图像；图像依次通过三次线性插值和stride为1，3通道输出的3×3×3的3D卷积层；

权重预测网络的结构包括依次连接的UpsamplingBilinear2d二维双线上采样层、stride为1，32通道输出的1×1卷积层、ReLU激活层、InstanceNorm2d层、UpsamplingBilinear2d二维双线上采样层、stride为1，64通道输出的1×1卷积层、ReLU激活层、InstanceNorm2d层、UpsamplingBilinear2d二维双线上采样层、stride为1，128通道输出的1×1卷积层、ReLU激活层、Dropout层、stride为1，3通道输出的1×1卷积层；图片经过权重预测网络后得到n个对原始图像进行了8倍下采样的特征图；

图像输入图像校正模型时，分别经过一个权重预测网络和n个3D查找表，将权重预测网络输出的特征图插值上采样至原始图像大小，将其与3D查找表输出的预测参考图像分别进行Hadamard乘积并求和，就得到了图像校正模型的输出；

(4)利用训练集对图像校正模型进行训练；将训练集中的有色差图像输入模型，将模型的输出图像与参考图像相对比求出损失函数的值，以损失函数最小化为目标更新网络参数；

(5)图像校正模型训练完毕后，将待校正图像输入图像校正模型得到校正后的图像。

2.根据权利要求1所述的基于深度学习的图像校正方法，其特征在于，步骤(2)中，进行图像对准的具体过程为：

(2-1)取每组图像对中有色差图像和参考图像共有的一部分图像作为模板图像，记录其在有色差图像上的位置坐标(x₁,y₁)；

(2-2)将模板图像作为滑窗，分别计算模板在参考图像上不同位置时对应点像素差的平方和作为模版匹配的值；

(2-3)记录模板在参考图像上滑动的过程中的匹配值，值越接近0，说明匹配程度高；

(2-4)记录匹配值最接近0的位置的坐标值(x₂,y₂)，计算参考图像和有色差图像的视场偏移，为△x和△y；

(2-5)根据偏移量剪裁图像，留下对应的两张图像视场重叠的部分。

3.根据权利要求1所述的基于深度学习的图像校正方法，其特征在于，步骤(4)中，损失函数为

Loss＝L_mse+λ_sR_s+λ_mR_m

其中，L_mse为预测图像和参考图像的均方误差，λ_s和λ_m为控制R_s和R_m两项对于训练影响的系数，λ_s＝0.0001，λ_m＝10；g(·)为标准ReLU函数，为图像经过3D查找表后输出的R/G/B值；ω_n为权重预测网络学习到的图像特征图的均方值。

4.根据权利要求3所述的基于深度学习的图像校正方法，其特征在于，训练过程中，采用Adam参数优化算法进行参数优化，分别设置学习率、一阶和二阶矩估计的指数衰减率β₁和β₂；训练时，在每一次参数传播中，以最小化损失函数为目标来更新网络权重。