[发明专利]基于知识蒸馏的再生TSK模糊分类器

说明书

本发明提出了一种基于知识蒸馏的再生TSK模糊分类器，所述基于知识蒸馏的再生TSK模糊分类器记做CNNBaTSK，CNNBaTSK的模糊规则包含两个部分：基于软标签信息的前件部分和基于原始数据的后件部分，所述CNNBaTSK的模糊规则构建方法包括以下步骤：步骤一、CNNBaTSK将原始数据作为输入，通过逐层的神经表达获得输出层的概率分布，引入蒸馏温度，生成DATASET软标签信息；步骤二、在CNNBaTSK的模糊部分，将软标签信息划分成五个固定的模糊分区，构建模糊规则；步骤三、引入原始数据计算后件参数，采用非迭代学习方法对CNNBaTSK后件参数进行优化。NNBaTSK由于采用了模糊规则，保持了模型可解释性，模糊规则的语义解释是用软标签信息代替原始特征，有助于以可解释性的方式处理卷积神经网络所输出的暗知识。

【技术领域】

本发明涉及分类器的技术领域，特别是一种基于知识蒸馏的再生TSK模糊分类器。

【背景技术】

Hinton在神经网络社区中提出的知识蒸馏已经被证明在分类任务的许多应用中是有益的，Xiangming Gu et al.首先引入知识蒸馏策略设计TSK模糊分类器，可以将复杂卷积神经网络(CNN)中的知识转移到简洁的TSK模糊分类器中。从而将知识从一个复杂的模型转移到另一个简洁的模型。研究发现，由于模糊表示的固有优势，模糊分类器可能是处理从神经网络中提取的模糊值的有效方法，但如何将模糊知识传递到模糊分类器上仍然是一个亟待解决的问题。

【发明内容】

本发明的目的就是解决现有技术中的问题，提出一种基于知识蒸馏的再生TSK模糊分类器，综合了模糊表示能力和知识蒸馏策略，通过LLM-KD算法提高了模型的泛化能力，可以提高分类性能。

为实现上述目的，本发明提出了一种基于知识蒸馏的再生TSK模糊分类器，所述基于知识蒸馏的再生TSK模糊分类器记做CNNBaTSK，所述CNNBaTSK的模糊规则包含两个部分：基于软标签信息的前件部分和基于原始数据的后件部分，所述CNNBaTSK的模糊规则构建方法包括以下步骤：

步骤一、CNNBaTSK将原始数据作为输入，通过逐层的神经表达获得输出层的概率分布，引入蒸馏温度，生成DATASET软标签信息；

步骤二、在CNNBaTSK的模糊部分，将软标签信息划分成五个固定的模糊分区，构建模糊规则；

步骤三、引入原始数据计算后件参数，采用非迭代学习方法对CNNBaTSK后件参数进行优化。

作为优选，步骤二中，不同模糊规则中每个软标签信息的中心分别为0，0.25，0.5，0.75，1，将软标签信息转化为有语义的解释，构建模糊规则。

作为优选，步骤一中，生成DATASET软标签信息的具体方法为：首先由多个卷积层和池化层逐层堆叠提取深度特征，采用的卷积层和池化层交替设置，然后通过若干个全连接层和输出层进行分类；所述卷积层、池化层、全连接层分别记做Conv层、Pool层、FC层；

假设训练数据集为X＝{x_i,x_i＝(x₁,x₂,...,x_n)^T,x_i∈Rⁿ,i＝1,2,...,N}及标签集其中n代表样本维度，N代表样本的数量，K代表样本的类别；在卷积神经网络中，我们将第t层的输出结果(特征图)标记为Z_t，其中Z₀代表原始数据x_i；

在Conv层中，采用局部连接方式(卷积核W_t)执行卷积运算，这可以有效减少整个模型的参数量，随后将偏置b_t添加到特征图中，再采用激活函数f(·)进行非线性变换，Conv层的计算过程如下所示：