[发明专利]一种基于卷积神经网络和邻域上下文的光源估计方法

说明书

本发明公开了一种基于卷积神经网络和邻域上下文的光源估计方法，其步骤包括：1确定待处理的彩色图像中的亮像素与暗像素；2从待处理的彩色图像中提取同时包含亮像素和暗像素的图像块；3从待处理的彩色图像中提取与图像块中心相同且范围更大的邻域块，以提供给模型更多的上下文信息；4以VGG‑16模型参数为基础，搭建结合图像块和邻域块上下文的光源估计模型，并利用Gehler‑Shi彩色图像数据集训练；5利用训练好的光源估计模型对所述待处理彩色图像I进行光源估计。本发明能估计彩色图像场景中的真实光源值，从而能有效的对彩色图像进行色彩校正，使图像色彩恢复到标准光源下。

技术领域

本发明属于计算机视觉中的色彩研究领域，具体地说是一种以卷积神经网络为特征提取工具，结合邻域上下文的光源估计方法。

背景技术

对于常规的数码相机来说，在不同光源下获取的同一物体的外观会有所不同；但对于人类视觉系统来说，在场景光源变化的情况下，人类能够不受场景光源的影响而感知到物体自身固有的颜色，人类所具有的这种能力称为颜色恒常性。在计算机视觉领域，为精确模拟色恒常性这种人类视觉系统的能力，通常设计对图像场景真实光源进行光源估计的算法，得到场景中光源的真实RGB值，并通过颜色校正将场景色彩校准到标准光源下，从而获得场景在标准光源下的准确颜色表达。

在图像与视频处理中的许多计算机视觉问题都将颜色校正作为预处理步骤，以确保在不同的光照条件下，场景中的物体保持其固有的颜色不发生变化，如基于颜色的目标识别、跟踪，图像增强，图像分割等。

目前光源估计的技术方法大致可以分为两大类：基于统计的方法和基于学习的方法。

基于统计的方法仅在单幅图像内容的基础上，利用彩色图像的统计属性或物理属性来估计光源。此类方法通常进行一些假设，如场景最亮区域即为光源、场景所有像素平均RGB值为光源等等，这些基于唯一确定的场景光照假设，计算都较为方便简单。

基于学习的方法需要训练数据，利用训练图像中来训练模型，从而进行光源估计。这类方法由于其相对于基于统计的方法具有更高的准确性而较为普遍。一些传统的机器学习方法，凭借一些手工制作的低级视觉特征(如像素和边缘)的浅层学习模型，如色度直方图、颜色和边缘矩，色度的统计等特征，可以取得出色的性能。

深度学习的盛行，为基于学习方法的光源估计提供了新的思路。利用卷积神经网络提取特征，与依赖于手动定义低级视觉特征不同，卷积神经网络能提取像素、边缘、多种对象部分及其组成的模型等多尺度图像特征，从而进一步提高光源估计的精度。目前已有的卷积神经网络方法通常对整个图像进行特征提取，以获得用于估计整个光源的统计量。同时也有一些基于局部图像块的估计方法，通过从图像中获得多个图像块，一方面增加了训练网络的数据量，另一方面从多个图像块的估计回归到单一估计，光源估计的准确性有很大提升。

虽然在计算机视觉领域中，已经出现了一些性能出色的彩色图像场景的光源估计方法，但这些方法依然存在着不足之处：

1、基于统计的方法通常是对场景的光照进行假设，适用范围小且在处理场景内容复杂的图像时误差较大。

2、在基于学习的方法之中，早期的传统机器学习方法，受限于基于手工制作的低级视觉特征(如像素和边缘)的浅层学习模型，在精度上与深度学习方法已有很大差距。事实上，图像的特征本质上是分层的，有高中低等级的特征，应自动从图像数据中学习，以避免手工制作的特征构造出现偏差。

3、在深度学习方法中，直接对整个图像进行特征提取的方法不能准确捕捉到整个图像不同局部区域的光源变化，因此在多光照条件下的光源估计有着局限性。

4、在深度学习方法中，基于局部图像块的方法，尽管有着其优势，但由于局部图像块获取的随机性，其内容是不确定的，通常情况下单个局部图像块只含有很少或没有语义上下文信息，在局部估计中存在模糊性(即图像块内容单一，且很可能与来源于其他彩色图像的图像块十分相似)，难以准确估计场景光源。