[发明专利]一种基于卷积神经网络和邻域上下文的光源估计方法

摘要

本发明公开了一种基于卷积神经网络和邻域上下文的光源估计方法，其步骤包括：1确定待处理的彩色图像中的亮像素与暗像素；2从待处理的彩色图像中提取同时包含亮像素和暗像素的图像块；3从待处理的彩色图像中提取与图像块中心相同且范围更大的邻域块，以提供给模型更多的上下文信息；4以VGG‑16模型参数为基础，搭建结合图像块和邻域块上下文的光源估计模型，并利用Gehler‑Shi彩色图像数据集训练；5利用训练好的光源估计模型对所述待处理彩色图像I进行光源估计。本发明能估计彩色图像场景中的真实光源值，从而能有效的对彩色图像进行色彩校正，使图像色彩恢复到标准光源下。

主权项

1.一种基于卷积神经网络和邻域上下文的光源估计方法，其特征是按如下步骤进行：步骤1、从高度与宽度分别为H和W的待处理彩色图像I中提取包含亮像素与暗像素的图像块集合P＝{P₁,P₂,…,P_n…,P_N}；其中，P_n表示第n个包含亮像素与暗像素的图像块，1≤n≤N，N为从所述待处理彩色图像I中提取的图像块的总数量；步骤1.1、计算所述待处理彩色图像I中所有像素点的RGB均值，并得到RGB均值向量步骤1.2、以第i行第j列的像素点P(i,j)为向量L_i,j＝(R_i,j,G_i,j,B_i,j)向所述RGB均值向量投影，得到第i行第j列像素点的投影|M|_(i,j)，从而得到所有像素点的投影集合|M|＝{|M|_(1,1),|M|_(1,2),…,|M|_(i,_j),…,|M|_(H,W)}，1≤i≤H，1≤j≤W；步骤1.3、将所述投影集合|M|进行降序排序，选取所述待处理彩色图像I像素点总数的前x％个投影所对应的像素作为亮像素，选取所述待处理彩色图像I像素点总数的后x％个投影所对应的像素作为暗像素；步骤1.4、定义图像块的大小为m×m，从所述待处理彩色图像I中随机选取同时包含所述亮像素与暗像素的图像块，从而得到N个图像块；步骤2、在所述待处理彩色图像I中，以所述第n个图像块P_n的中心为相应邻域块的中心，取大小为k×k的邻域块，再对所述邻域块缩放到m×m大小，从而得到第n个邻域块Z_n，进而得到邻域块集合Z＝{Z₁,Z₂,…,Z_n,…,Z_N}，1＜m＜k；步骤3、构建图像块和邻域块的光源估计模型；步骤3.1、获取含有彩色图像和场景真实光源RGB值的数据集D，并将所述数据集D随机平均分为3个子集，记为D＝{D_train,D_val,D_test}；D_train表示训练数据集，并包含有d_train张彩色图像；D_val表示验证数据集，并包含有d_val张彩色图像；D_test表示测试数据集，并包含有d_test张彩色图像；步骤3.2、按照步骤1和步骤2对所述训练数据集D_train进行处理，得到所述训练数据集D_train所有训练图像的图像块集合和邻域块集合步骤3.3、对所述训练图像的图像块集合P_train和邻域块集合Z_train进行数据增强，得到增强后的图像块集合P′_train和邻域块集合Z′_train；步骤3.4、对所述增强后的图像块集合P′_train和邻域块集合Z′_train进行Gamma矫正，得到矫正后的图像块集合P″_train和邻域块集合Z″_train，其中Gamma值为G′；步骤3.5、对所述训练数据集D_train中所有训练图像的场景真实光源RGB值进行L2范数归一化处理，得到归一化后的RGB值；步骤3.6、将VGG‑16卷积神经网络的第J层的输出设定为b个；步骤3.7、以所述矫正后的图像块集合P″_train作为所述VGG‑16卷积神经网络的输入，以归一化后的图像标签作为标签，以欧式距离作为损失函数，利用梯度下降算法对所述VGG‑16卷积神经网络进行训练，得到图像块的光源估计模型P‑Model；步骤3.8、以所述矫正后的邻域块集合Z″_train作为所述VGG‑16卷积神经网络的输入，以所述归一化后的图像标签作为标签，以欧式距离作为损失函数，利用梯度下降算法对所述VGG‑16卷积神经网络进行训练，得到邻域块的光源估计模型Z‑Model；步骤3.9、构建维度分别为w₁、w₂、w₃的h层全连接层作为决策层；步骤3.10、利用所述图像块的光源估计模型P‑Model的前t层结构和邻域块的光源估计模型Z‑Model的前t层结构分别对所述矫正后的图像块集合P″_train和邻域块集合Z″_train进行特征提取，得到特征提取层的特征图F和F′；步骤3.11、将所述特征图F和F′相加后的结果作为所述决策层的输入，以所述归一化后的图像标签作为标签，以欧式距离作为损失函数，利用梯度下降算法对所述决策层进行训练，得到光源估计模型E‑Model；步骤4、对所述待处理彩色图像I进行光源估计：步骤4.1、利用所述图像块的光源估计模型P‑Model的前t层结构和邻域块的光源估计模型Z‑Model的前t层结构分别对所述第n个图像块P_n和第n个邻域块Z_n进行特征提取，得到特征提取层的特征图F_n和F′_n；步骤4.2、将所述特征图F_n和F′_n相加后的结果作为所述光源估计模型E‑Model的输入，得到第n个图像块P_n的场景光源RGB值；步骤4.3、重复步骤4.1‑步骤4.2，从而得到所述N个图像块与邻域块的场景光源RGB值；步骤4.4、对所述N个图像块与邻域块的场景光源RGB值求均值与中值，从而得到所述待处理彩色图像I的光源RGB值并作为光源估计的结果；步骤4.5、使用估计的光源RGB值对所述待处理彩色图像I进行颜色校正。