[发明专利]一种基于多任务卷积神经网络的舌象分类方法

权利要求书

1.一种基于多任务卷积神经网络的舌象分类方法，其特征在于：包括对采集到的舌象进行一系列预处理的图像操作；包括用于舌整体特征提取的深度卷积神经网络、包括用于对舌面标签进行检测的感兴趣区域定位网络、用于深度学习和训练识别的多任务深度卷积神经网络，完成对舌象舌色、苔色、苔质的厚薄、腐腻、润燥属性的标签分类；

所述的对采集到的舌象进行一系列预处理的图像操作包括颜色校正、舌体分割、阴影区域去除在内的三个预处理操作，对自然环境下得到的舌象进行校正，满足后续识别的要求；

所述的用于舌整体特征提取的深度卷积神经网络，作为多任务卷积神经网络的基础网络，共分为五层，由卷积层、激活层和池化层交替构成的深度结构，隐式地从给定的舌像数据中进行无监督学习，避免了人工进行显式的特征提取；

所述的用于对舌面标签进行定位的感兴趣区域提取网络，即RPN网络，对舌面上不同属性对应的区域进行检测和划分，用于下一阶段网络的分类训练；

所述的用于深度学习和训练识别的多任务深度卷积神经网络，由全连接层组成，对上一阶段得到的各类标签候选区域进行深层特征提取，输入区域在网络中进行层层映射，得到不同的表示形式，提取其抽象特征，从而实现对舌象的深度表示；

所述用于深度学习和训练识别的多任务深度卷积神经网络中，根据所要识别的属性种类构建不同个数的子网络，每个子网络结构相同，由全连接层组成，并在此之前加入了金字塔池化层进行尺度归一化；

子网络利用全连接层对采样后的候选区域进行特征提取，候选区域共有9种尺寸，而全连接层要求输入尺寸一致，故在此先利用金字塔池化层进行尺度归一化，再将其送入三个全连接层进行深层特征提取，子网络中全连接层输出神经元个数均设置为1024，得到1024维的特征向量；接着，将该特征向量分别送入两个全连接层进行特征压缩，根据子网络所需完成的具体任务对这两个全连接层的输出神经元个数分别进行设置，在子网络一中设置为9和36，在子网络二中设置为4和16；最后，将输出值分别与真实标签值做对比，进行损失函数的回归约束；

以任一子网络为例，多任务损失函数由公式(6)表示：

式中，类别损失函数由式(7)定义为：

位置回归损失函数由式(8)定义为：

R是鲁棒的损失函数smooth_L1，由式(9)表示为：

式中，N_cls和N_reg是为避免过拟合的正则项，λ为权重系数，i是该候选区域的类别索引值，t_i是该候选区域的预测坐标偏移量，是该候选区域的实际坐标偏移量，p_i是预测候选区域属于第i类的概率，表示其真实类别，表示背景类,表示非背景类；

通过这两个损失函数分别计算预测值与给定真实值之间的误差，利用反向传播算法将误差层层回传，利用随机梯度下降法对每层的参数进行调整和更新，更新公式如式(10)所示，使得网络的预测值更接近真实值，即最后两个全连接层的输出更接近给定标注值中的类别和位置信息；

式中，w和w'分别为更新前后的参数值，E为通过损失函数层计算得到的误差值，η为学习率。