[发明专利]一种基于卷积神经网络的中医舌色苔色自动分析方法

权利要求书

1.一种基于卷积神经网络的中医舌色苔色自动分析方法，其特征在于，该方法分为网络训练阶段和舌色苔色识别阶段，包括以下步骤：

步骤1：构建数据集；

使用的数据集通过中医舌象仪采集得到，并且其舌色与苔色均由专业的中医医师进行标定；所使用的训练样本为一系列由中医专家逐块确定类别的图像子块；这些样本块是利用滑动窗从舌图像相应的舌质区域和舌苔区域得到；滑动窗的尺寸为32×32，滑动步长为16；

步骤2：卷积神经网络的结构设计和网络训练；

搭建了卷积神经网络，并利用步骤1中构建的舌色和苔色数据集分别训练该网络，得到舌色分类模型和苔色分类模型；

设计的卷积神经网络简称为TonColorNet,该网络的输入为32×32大小的图像子块；该网络包含1个卷积层，一个池化层和3个全连接层；卷积层后面连接一个激励层和一个局部响应归一化层，前两层全连接层的输出均连接一个激励层，并采用Dropout以0.5的概率将每个隐层神经元的输出设置为零；卷积层采用7×7大小的卷积核，步长为1，输出32个特征图；池化层采用2×2尺寸大小并且步长为1的最大池化；前两层全连接层的神经元个数分别为100和50，最后一层全连接层的神经元个数为舌色或苔色的类别；激励层采用修正线性单元ReLU作为激活函数；

步骤3：对待分析的舌图像进行舌色苔色的自动识别；

步骤3.1：对待分析的舌图像进行舌色和苔色区域划分，分别得到舌质区域和舌苔区域；

步骤3.2：在步骤3.1得到的舌质区域和舌苔区域上，通过滑动窗分别得到舌质图像子块和舌苔图像子块；

步骤3.3：利用步骤2训练得到的舌色分类模型和苔色分类模型分别对相应的图像子块进行分类；

步骤3.4：通过统计决策的方法对分类结果进行综合，得到整幅舌图像的舌色和苔色类别；

具体为：

采用如下的决策公式进行判决：

ρ_i＝n_i·w_i (1)

其中，ρ_i为第i类颜色的决策值，n_i为分类结果中第i类颜色出现的次数，w_i为第i类颜色的权重，其定义如下：

其中，M为样本库中的训练样本总数，M_i为第i类颜色在样本库中的样本总数；在得到各类的决策值后，比较它们的大小，将其中决策值最大的颜色判定为待分析舌象舌色或苔色的颜色类别。

2.根据权利要求1所述方法，其特征在于，

步骤1中，舌色分为淡、淡红、红、暗红、绛红、暗紫，共6类；苔色分为薄白苔、白苔、白厚苔、薄黄苔、黄苔、黄厚苔、灰苔、褐苔、黑苔，共9类。

3.根据权利要求1所述方法，其特征在于，

使用构建的舌色数据集和苔色数据集分别训练TonColorNet；训练时，网络参数采用随机初始化，损失函数设为softmax loss，利用随机梯度下降算法方法进行网络训练，分别得到舌色分类模型和苔色分类模型。

4.根据权利要求1所述方法，其特征在于，

步骤3中对待分析的舌图像进行舌色苔色的自动识别具体如下：

步骤3.1：对待分析的舌图像进行舌色和苔色区域划分，分别得到舌质区域和舌苔区域；通过舌体分割、舌面区域划分以及苔质分离实现舌色苔色的区域划分；各个步骤的相关描述如下：

(1)舌体分割

采用深度学习方法实现舌体分割；首先，手工标注舌图像的像素，将舌图像分为舌体区域和背景区域，得到舌图像的标签；然后利用舌图像和其相应的标签训练SegNet网络，得到用于舌体分割的分割模型；最后利用该分割模型实现舌体分割；

(2)舌面区域划分

完成舌体区域的分割之后，根据中医专家的舌诊习惯将舌面划分为5个区域，分别为：舌根、舌中、舌尖、舌左侧和舌右侧；通常情况，根据舌质和舌苔分布区域的不同，中医通过观察舌两侧和舌尖对患者的舌质颜色进行判断，在舌中和舌根处观察舌苔的颜色；

(3)苔质分离

完成舌面区域的5区划分后，将分割后的舌图像从RGB颜色空间转换到HSV颜色空间，并选取饱和度S分量构成S图；然后，对S图做直方图均衡，并对S图的像素值取反；最后，利用K均值聚类实现苔质分离；

将经过苔质分离确定的舌质区域作为最终的舌质区域，而将“舌面区域划分”中得到的舌中和舌根区域作为舌苔区域，分别用于后续的处理；

步骤3.2：在步骤3.1得到的舌质区域和舌苔区域上，通过滑动窗分别得到尺寸为32×32的舌质图像子块和舌苔图像子块；

步骤3.3：利用步骤2训练得到的舌色分类模型和苔色分类模型分别对相应的图像子块进行分类，得到舌质图像子块和舌苔子块的分类；

步骤3.4：通过统计决策的方法对各个子块的分类结果进行综合，得到整幅舌图像的舌色和苔色类别；

采用如下的决策公式进行判决：

ρ_i＝n_i·w_i (1)

其中，ρ_i为第i类颜色的决策值，n_i为分类结果中第i类颜色出现的次数，w_i为第i类颜色的权重，其定义如下：

其中，M为样本库中的训练样本总数，M_i为第i类颜色在样本库中的样本总数；在得到各类的决策值后，比较它们的大小，将其中决策值最大的颜色判定为待分析舌象舌色或苔色的颜色类别。