[发明专利]一种基于卷积神经网络的面色舌色图像颜色校正方法

摘要

一种基于卷积神经网络的面色舌色图像颜色校正方法涉及数字图像处理方法。算法主要包括离线部分和在线部分。离线部分由训练数据采集、颜色校正卷积神经网络网络框架搭建和训练组成，在线部分则是图像颜色校正和颜色校正效果评价。CNN模仿人类的认知过程，即从局部特征到全局特征的逐层抽象。将卷积神经网络应用于颜色校正中，可以获得较为理想的颜色重现效果。本发明通过采用深度卷积神经网络方法，对稳定光学环境中采集到的人脸面色和舌色进行颜色校正，重现在相同光学环境中目标对象真是呈现的颜色信息。

主权项

一种基于卷积神经网络的面色舌色图像颜色校正方法，包括离线部分和在线部分，其特征在于：离线部分由训练数据采集、颜色校正卷积神经网络网络框架搭建和训练组成，在线部分包括图像颜色校正；所述的离线部分，具体内容如下：(1)训练数据采集采集采用在暗箱条件下人工光源来模拟自然光，有效的保证光源条件的稳定性；对拍摄得到的图像进行处理，裁剪截取每个色块，每个色块需要设置固定大小格式作为训练样本，利用色卡每个色块标准值生成RGB图像做训练数据的标签，训练样本和标签一一对应；(2)颜色校正卷积神经网络网络框架搭建和训练网络设计为浅层的深度神经网络，网络层数为5层；分别是输入层、非线性变换层、输出层；输入层是由一个卷积层和修正线性单元ReLU组成；非线性变换层由3层网络组成，每层由一个卷积层和ReLU激活函数组成，在卷积层和激活函数中间有一个批归一化；输出层是由一个卷积层组成；在训练中，利用带mini‑batch的随机梯度下降算法来迭代和更新卷积核状态W和偏置B，每次进行微批数据集运算，并采用随机梯度下降算法寻找全局最优解；在CNN的图像处理过程中，卷积层之间需要通过卷积滤波器联系，卷积滤波器的定义表示为W×H×C×D,其中，C代表被滤波图像的通道数；W、H分别代表滤波范围的宽、高；D代表卷积滤波器的种类；网络的输入层含有一个卷积层和ReLU激活函数。输入层特征提取公式表示如下：F1(X1)＝max(0，W1*X1+B1)                                (1)式中，X1为进入输入层的特征图。W1和B1分别表示输入层的卷积滤波器和偏置，W1的尺寸是3×3×3×64,它表示64种不同的卷积滤波器，每个卷积的核尺寸3×3×3,F1(X1)是输入层得到的特征图。输入图像为3×40×40的特征图，表示特征图为3通道的彩色图，宽w和高h均为40。经过卷积层输出特征图的宽w1和高h1计算公式如公式(2)和公式(3)所示，kernel为卷积的核大小；stride为卷积核的步长，当取值为1时，提取重叠的图像块，效果较好；pad为边缘补零像素个数。在本发明中设定kernel的值为3，stride的值为1，pad的值为1。因此，输入图像经过输入层64个卷积核3×3之后会产生64×40×40的特征图；然后，特征图经过修正线性单元ReLU。ReLu的表示为max(0,X),提取有用的特征图。最后输出结果仍为64×40×40的特征图；w1=w-pad*2+kernelstride+1---(2)]]>h1=h-pad*2+kernelstride+1---(3)]]>在非线性变换层的非线性映射过程中，卷积层、批归一化和ReLU函数位于第二层、第三层和第四层；非线性变换层各阶段的公式表示如下：Fi(Xi)＝max(o，Wi*Fi‑1(xi‑1)+Ri){i＝2，3，4}(4)式中,i表示第i层，Xi为第i‑1层的输出，即Fi‑1(Xi‑1)；Wi和Bi分别表示非线性变换阶段的卷积滤波器和偏置,其中,卷积滤波器W1的尺寸是3×3×3×64,第2，3，4层卷积层Wi的尺寸是64×3×3×64,每个卷积核的尺寸为64×3×3；输入层输出的64×40×40的特征图，输入到第二个卷积层中，经过64个卷积核3×3之后会产生64×40×40的特征图；然后，64×40×40的特征图进入批归一化；批归一化在卷积层和ReLU激活函数中间，解决了神经网络训练时的收敛速度慢和梯度爆炸等无法训练的情况；同时，批归一化加快了网络的训练速度，提高了模型精度；最后，特征图经过修正线性单元，提高了特征的非线性；第二层网络输出64×40×40的特征图之后经过与第二层有相同的结构的第三、四层，最终得到64×40×40的特征图；在输出层的输出重建过程中，特征图输入到只含有一个卷积层的输出层；输出重建的公式表示如下：F5(X5)＝W5*F4(X4)+B5           (5)式中，X5为第4层的输出；W5和B5分别表示特征重建层的卷积滤波器和偏置，W5的尺寸是3×3×64×3，特征重建层有3个卷积滤波器,等同于均值滤波器的作用，每个卷积的核尺寸是3×3×64，能够实现平均特征图的作用，F4(X4)是非线性变换层产生的特征图，即X5；非线性变换层输出的特征图经过3个卷积核3×3之后会产生3×40×40的特征图；采集得到的数据集经过该网络进行训练，迭代50次以上后得到每轮训练的模型，模型最终被保存到文件中；所述的在线部分，具体内容如下：利用训练得到的模型对颜色失真图像进行颜色校正，得到校正后的图像；暗室中拍摄色卡、人脸和舌图像，得到的照片与实际颜色相比较存在失真，使用基于卷积神经网络颜色校正方法对失真图像进行颜色校正；首先读取待校正图像像素点保存为图像矩阵，然后读取训练得到的MAT格式文件得到颜色校正模型；将图像矩阵输入到网络模型当中，分别在R、G、B三个通道对图像进行颜色校正，输出校正后的图像。