[发明专利]一种基于卷积神经网络的面色舌色图像颜色校正方法

权利要求书

1.一种基于卷积神经网络的面色舌色图像颜色校正方法，包括离线部分和在线部分，其特征在于：离线部分由训练数据采集、颜色校正卷积神经网络网络框架搭建和训练组成，在线部分包括图像颜色校正；

所述的离线部分，具体内容如下：

(1)训练数据采集

采用在暗箱条件下人工光源来模拟自然光，有效的保证光源条件的稳定性；

对拍摄得到的图像进行处理，裁剪截取每个色块，每个色块需要设置固定大小格式作为训练样本，利用色卡的标准值生成RGB图像做训练数据的标签，训练样本和标签一一对应；

(2)颜色校正卷积神经网络网络框架搭建和训练

颜色校正卷积神经网络框架设计为浅层的深度神经网络，网络层数为5层；分别是输入层、非线性变换层、输出层；输入层是由一个卷积层和修正线性单元ReLU组成；非线性变换层由3层网络组成，每层由一个卷积层和ReLU激活函数组成，在卷积层和激活函数中间有一个批归一化；输出层是由一个卷积层组成；

在训练中，利用带mini-batch的随机梯度下降算法来迭代和更新卷积核状态W和偏置B，每次进行微批数据集运算，并采用随机梯度下降算法寻找全局最优解；

在CNN的图像处理过程中，卷积层之间需要通过卷积滤波器联系，卷积滤波器的定义表示为W×H×C×D,其中，C代表被滤波图像的通道数；W、H分别代表滤波范围的宽、高；D代表卷积滤波器的数量；

网络的输入层含有一个卷积层和ReLU激活函数；输入层特征提取公式表示如下：

F₁(X₁)＝max(0，W₁*X₁+B₁) (1)

式中，X₁为进入输入层的特征图，W₁和B₁分别表示输入层的卷积滤波器和偏置，W₁的尺寸是3×3×3×64,它表示64种不同的卷积滤波器，每个卷积的核尺寸3×3×3,F₁(X₁)是输入层得到的特征图；

输入图像为40×40×3的特征图，表示特征图宽w和高h均为40，3个通道的彩色图；经过卷积层输出特征图的宽w₁和高h₁计算公式如公式(2)和公式(3)所示，kernel为卷积的核的长或宽；stride为卷积核的步长，当取值为1时，提取重叠的图像块，效果较好；pad为边缘补零像素个数；在本发明中设定kernel的值为3，stride的值为1，pad的值为1；因此，输入图像经过输入层64个3×3×3大小的卷积核W₁之后会产生40×40×64的特征图；然后，特征图经过修正线性单元ReLU；ReLu的表示为max(0,X),提取有用的特征图；最后输出结果仍为40×40×64的特征图；

在非线性变换层的非线性映射过程中，卷积层、批归一化和ReLU函数位于第二层、第三层和第四层；非线性变换层各阶段的公式表示如下：

F_i(X_i)＝max(0，W_i*F_i-1(X_i-1)+B_i){i＝2，3，4} (4)

式中,i表示第i层，X_i为第i-1层的输出，即F_i-1(x_i-1)；W_i和B_i分别表示非线性变换阶段的卷积滤波器和偏置,其中,卷积滤波器W₁的尺寸是3×3×3×64,第2，3，4层卷积层W_i的尺寸是3×3×64×64；输入层输出的40×40×64的特征图，输入到第二个卷积层中，会产生40×40×64的特征图；然后，40×40×64的特征图进入批归一化；批归一化在卷积层和ReLU激活函数中间，解决了神经网络训练时的收敛速度慢和梯度爆炸等无法训练的情况；同时，批归一化加快了网络的训练速度，提高了模型精度；最后，特征图经过修正线性单元，提高了特征的非线性；第二层网络输出40×40×64的特征图之后经过与第二层有相同的结构的第三、四层，最终得到40×40×64的特征图；

在输出层的输出重建过程中，特征图输入到只含有一个卷积层的输出层；输出重建的公式表示如下：

F₅(X₅)＝W₅*F₄(X₄)+B₅ (5)

式中，X₅为第4层的输出；W₅和B₅分别表示特征重建层的卷积滤波器和偏置，W₅的尺寸是3×3×64×3，特征重建层有3个卷积滤波器,等同于均值滤波器的作用，每个卷积的核尺寸是3×3×64，能够实现平均特征图的作用，F₄(X₄)是非线性变换层产生的特征图，即X₅；非线性变换层输出的特征图经过3个卷积核3×3×64之后会产生40×40×3的特征图；

采集得到的数据集对该网络进行训练，迭代50次以上后得到训练后的网络，将网络参数最终保存到文件中；

所述的在线部分，具体内容如下：

利用训练得到的网络参数对颜色失真图像进行颜色校正，得到校正后的图像；暗室中拍摄色卡、人脸和舌图像，得到的照片与实际颜色相比较存在失真，使用基于卷积神经网络颜色校正方法对失真图像进行颜色校正；首先读取待校正图像像素点保存为图像矩阵，然后读取训练得到的MAT格式文件得到颜色校正网络参数；将图像矩阵输入到颜色校正卷积神经网络当中，分别在R、G、B三个通道对图像进行颜色校正，输出校正后的图像。

2.根据权利要求1所述的方法，其特征在于：

使用ColorChecker Digital SG作为颜色校正的色卡；在封闭式环境条件下，对ColorChecker Digital SG标准色卡进行拍照；通过包括改变色卡的拍摄角度，调整色卡与光源距离，调整色卡和相机的距离方式拍摄得到色卡图像，利用这些图像生成颜色校正卷积神经网络的网络参数的训练数据。