[发明专利]一种基于深度学习的舌象体质分类方法

权利要求书

1.一种基于深度学习的舌象体质分类方法，其特征在于，包括以下步骤：

步骤一、获取舌象数据并进行预处理，得到舌象预处理图片；

步骤二、将舌象预处理图片输入Deeplabv3+改进模型进行舌体分割，得到舌象分割特征图；

采用轻量级网络Mobilenetv2替换Deeplabv3+原始模型的主干网络Inceptionv3，并在Deeplabv3+改进模型的主干网络的每一个瓶颈层之后增加一个CBPN注意力模块，CBPN注意力模块包括通道注意力模块、空间注意力模块和ParNet Block模块；

通道注意力模块采用最大池化和平均池化操作，对于CBPN注意力机制输入特征图F沿着通道维度进行处理，得到平均池化特征和最大池化特征，然后使用共享网络层分别对平均池化特征和最大池化特征进行维度变换，并对维度变换后的平均池化特征和最大池化特征进行相加融合，然后通过Sigmoid函数对融合后特征进行激活，得到通道注意力特征图M_c，然后将通道注意力特征图M_c与CBPN注意力机制输入特征图F相乘，得到精细化通道特征图；

通道注意力特征图M_c的公式为：

；

上式中，AvgPool为平均池化函数，MaxPool为最大池化函数，MLP为共享网络瓶颈卷积，σ为Sigmoid激活函数；

空间注意力模块采用最大池化和平均池化操作，对于精细化通道特征图沿着通道维度进行通道信息聚合，得到平均池化特征和最大池化特征，然后对平均池化特征和最大池化特征沿着通道维度进行拼接，再对拼接后特征进行卷积操作，然后通过Sigmoid函数对卷积后特征进行激活，得到空间注意力特征图M_s，然后将空间注意力特征图M_s与精细化通道特征图相乘，得到CBAM机制处理后特征图F²；

空间注意力特征图M_s的公式为：

；

上式中，AvgPool为平均池化函数，MaxPool为最大池化函数，MLP为共享网络瓶颈卷积，σ为Sigmoid激活函数；

ParNet Block模块通过并行分支的1×1卷积层、3×3卷积层、SSE层分别对CBAM机制处理后特征图F²进行处理，将并行分支处理后的特征相加融合并使用批归一化层处理，然后利用SiLU激活函数对归一化特征进行激活，得到ParNet Block注意力特征图P_f，然后将ParNet Block注意力特征图P_f与CBAM机制处理后特征图F²相乘，得到CBPN模块输出特征图F³；

ParNet Block注意力特征图P_f的公式为：

；

上式中，σ为Sigmoid激活函数，θ为SiLU激活函数，BN为归一化层，C₁为1×1卷积层，C₃为3×3卷积层，AAP为自适应平均池化层；

步骤三、将步骤二得到的舌象分割特征图输入采用融合增强式自适应分流注意力机制的EdgeNeXt网络对舌象进行分类，最终得到舌象对应的体质类型；

在EdgeNeXt网络的原始模型中加入增强式自适应分流注意力模块，增强式自适应分流注意力模块位于EdgeNeXt网络处理模块的下采样层和卷积编码器之间，增强式自适应分流注意力模块包括自适应分流注意力模块和增强式注意力模块；

自适应分流注意力模块将输入特征X沿着通道维度分为X₁、X₂、X₃、X₄共4组，然后使用四个不同的注意力模块对X₁、X₂、X₃、X₄分别进行处理，提取出四组不同的注意力特征A₁、A₂、A₃、A₄，然后将X₁与A₁相乘得到分支注意力特征f₁，将X₂与A₂相乘得到分支注意力特征f₂，将X₃与A₃相乘得到分支注意力特征f₃，将X₄与A₄相乘得到分支注意力特征f₄，然后将分支注意力特征f₁、f₂、f₃、f₄依次相加，并在每次相加后进行sandglass block块处理，得到融合分流特征f，然后通过1×1卷积层对融合分流特征f进行维度变换，得到与输入特征X维度一致的自适应分流注意力特征X'；

增强式注意力模块将自适应分流注意力特征X'与超参数I相乘，将乘积C_im作为重要特征组的通道维度，通过乘积C_im划定出自适应分流注意力特征X'的前n个最大值，然后利用第n个值作为阈值，将自适应分流注意力特征X'中数值大于或等于第n个值的划分为重要特征部分，将自适应分流注意力特征X'中数值小于第n个值的划分为次重要特征部分；

然后将自适应分流注意力特征X'与重要特征掩码组相乘，得到重要通道特征组X'₁，重要特征掩码组的重要部分的值为1，次重要部分值为0；同时将自适应分流注意力特征X'与次重要特征掩码组相乘，得到次重要通道特征组X'₂，次重要特征掩码组的重要部分的值为0，次重要部分值为1；

然后对重要通道特征组X'₁进行最大池化和平均池化操作，并对所得的平均池化特征和最大池化特征进行拼接，再通过7×7共享卷积对拼接后特征进行卷积操作，然后进行归一化处理和激活操作，得到重要空间注意张量S₁；同时对次重要通道特征组X'₂进行最大池化和平均池化操作，并对所得的平均池化特征和最大池化特征进行拼接，再通过7×7共享卷积对拼接后特征进行卷积操作，然后进行归一化处理和激活操作，得到次重要空间注意张量S₂；

然后将重要空间注意张量S₁与重要通道特征组X'₁相乘，得到得到重要空间张量X''₁，将次重要空间注意张量S₂与次重要通道特征组X'₂相乘，得到得到次重要空间张量X''₂，然后将重要空间张量X''₁与次重要空间张量X''₂相加融合，得到增强式注意力特征X''，并将增强式注意力特征X''作为增强式自适应分流注意力模块的输出特征。