[发明专利]一种基于匹配与融合的立体图像颜色校正方法及系统

说明书

本发明涉及一种基于匹配与融合的立体图像颜色校正方法及系统，该方法包括：S1、建立包括无失真立体图像和失真立体图像的训练集；S2、构建基于视差注意力的颜色校正初始模型及其损失函数，训练得到训练好的颜色校正初始模型，利用其对目标图像进行初步颜色校正得到初始校正图；S3、利用光流网络计算从初始校正图到参考图像的光流，并对参考图像进行图像变形和空洞填充得到匹配目标图；S4、构建基于U‑net模型架构的图像融合网络模型及其损失函数，训练得到训练好的图像融合网络模型；S5、利用步骤S2到S4训练好的模型对待校正的失真立体图像进行颜色校正。该方法及系统有利于快速高效地校正立体图像左右视图间的颜色差异。

技术领域

本发明涉及图像处理和计算机视觉领域，特别是一种基于匹配与融合的立体图像颜色校正方法及系统。

背景技术

随着计算机视觉的飞速发展和多媒体技术的不断进步，双目立体视觉以其沉浸式视觉效果吸引了人们的广泛关注，并得以快速发展。与传统二维图像的平面感相比，双目立体视觉给人们带来了更加真实、自然而震撼的体验。在一些特定的研究中，如立体图像颜色校正、多视点视频颜色校正、全景图像拼接、遥感图像融合等，人们希望获得的图像组之间具备较好的颜色一致性。但是受摄像机参数设置与摆放位置、光源分布变化以及物体表面漫反射等不同因素的影响，相同物体在不同视点摄像机捕获到的图像中所呈现的亮度和颜色会存在一定差别。人类视觉系统可以自动调节并消除各种因素对颜色和亮度的影响，正确感知所观察物体的颜色。而计算机进行图像分析时，这种颜色差异不仅会影响到与颜色一致性有关的后期制作，在双目立体视觉中也会影响到深度信息重建，进而使观众感到视觉疲劳。因此计算机也需要这种处理图像组间颜色差异的能力，避免对其他颜色一致性相关算法的效果造成负面影响。立体图像颜色校正也因而成为一种非常重要的图像预处理技术。

颜色校正就是使用某种映射关系改变目标图像的颜色值使其具有与参考图像相似的分布，也被称为颜色迁移。可以用于消除图像组间的颜色失真，也可以用于改变目标图像的整体颜色风格，使其与参考图像一致。目前国内外已经提出了很多颜色校正算法，根据映射函数的数量来划分，颜色校正可以分为全局颜色校正算法和局部颜色校正算法两个类别。

全局颜色校正方法的映射函数通常由图像的简单统计信息计算得到，在图像色彩纹理较为简单的情况下可以得到很好的校正效果，并且具有较高的效率。但是它们在寻找最优颜色校正方案时缺乏对局部纹理信息的关注，若目标图像纹理过于复杂，算法的校正效果就无法达到要求。例如Reinhard最早提出的一种全局颜色迁移方法在无相关性的Lab颜色空间内用各通道的标准差与平均值对目标图像逐个通道进行颜色转换。Xiao等人认为Lab空间与RGB空间的转换带来了额外时间开销，为了消除这个转换过程，他们在RGB颜色空间下使用协方差矩阵转换实现了全局颜色迁移。Yao等人基于直方图提出了一种梯度保留颜色迁移算法，通过建立拉普拉斯金字塔使直方图误差和梯度误差同时最小化，以达到将参考图像的颜色映射到源图像，同时保持源图像的梯度的目的。