[发明专利]基于知识蒸馏的再生TSK模糊分类器

权利要求书

1.基于知识蒸馏的再生TSK模糊分类器，其特征在于：所述基于知识蒸馏的再生TSK模糊分类器记做CNNBaTSK，所述CNNBaTSK的模糊规则包含两个部分：基于软标签信息的前件部分和基于原始数据的后件部分，所述CNNBaTSK的模糊规则构建方法包括以下步骤：

步骤一、CNNBaTSK将原始数据作为输入，通过逐层的神经表达获得输出层的概率分布，引入蒸馏温度，生成DATASET软标签信息；

步骤二、在CNNBaTSK的模糊部分，将软标签信息划分成五个固定的模糊分区，构建模糊规则；

步骤三、引入原始数据计算后件参数，采用非迭代学习方法对CNNBaTSK后件参数进行优化。

2.如权利要求1所述的基于知识蒸馏的再生TSK模糊分类器，其特征在于：步骤二中，不同模糊规则中每个软标签信息的中心分别为0，0.25，0.5，0.75，1，将软标签信息转化为有语义的解释，构建模糊规则。

3.如权利要求1所述的基于知识蒸馏的再生TSK模糊分类器，其特征在于：步骤一中，生成DATASET软标签信息的具体方法为：首先由多个卷积层和池化层逐层堆叠提取深度特征，采用的卷积层和池化层交替设置，然后通过若干个全连接层和输出层进行分类；所述卷积层、池化层、全连接层分别记做Conv层、Pool层、FC层；

假设训练数据集为X＝{x_i,x_i＝(x₁,x₂,...,x_n)^T,x_i∈Rⁿ,i＝1,2,...,N}及标签集其中n代表样本维度，N代表样本的数量，K代表样本的类别；在卷积神经网络中，我们将第t层的输出结果(特征图)标记为Z_t，其中Z₀代表原始数据x_i；

在Conv层中，采用局部连接方式执行卷积运算，随后将偏置b_t添加到特征图中，再采用激活函数f(·)进行非线性变换，Conv层的计算过程如下所示：

Z_t＝f(W_t*Z_t-1+b_t) (1)

卷积计算完成后，经过PRelu激活函数的非线性映射，PRelu的数学表达式表示如下：

其中a表示输入变量，κ表示斜率的系数；

在Pool层中，所选用的最大池化操作通过选取池化窗口内的最大值作为结果，池化过程可以表示如下：

Z_t＝Pool(Z_t-1) (3)

经过若干次卷积和最大池化操作，将提取到的深度特征输入第一个FC层；在FC层中，层级之间的神经元全部被连接，深度特征被进一步映射到新的特征空间，完成分类任务；通过权值W_t和偏置b_t进行计算，并利用激活函数f(·)进行非线性变换；计算过程如下：

Z_t＝f(W_t·Z_t-1+b_t) (4)

卷积神经网络的输出层采用了Softmax激活函数，其输出Z_t＝(z₁,z₂,...,z_K)^T被转换为对应的概率结果E_i＝(e₁,e₂,...,e_K)^T，其中K代表类别的总数，计算如下：

在训练过程中，采用交叉熵损失函数度量卷积神经网络的输出与真实标签的差异，其计算公式如下：

卷积神经网络的权值W_t和偏置b_t通过误差反向传播算法进行迭代和优化；将式(6)的损失值从最后一层反向传播到第一层，并根据每一层的误差进行参数更新；假设W_t和b_t的导数为ΔW_t和Δb_t，参数更新公式表述如下：

其中l表示训练迭代次数，θ表示学习率；

为了便于区分，输出层通过蒸馏温度T软化后的概率分布被称为软标签信息s_i＝(s₁,s₂,...,s_K)^T，计算方式如下：

在二分类任务中，假设训练数据集表示为X＝{x_i,x_i＝(x₁,x₂,...,x_n)^T,x_i∈Rⁿ,i＝1,2,...,N}，是二分类任务的真实标签向量；输出层的概率分布E_i＝(e₁,e₂)^T在引入蒸馏温度T后，转换成软标签信息S＝{s_i＝(s₁,s₂)^T,s_k∈[0,1],k＝1,2,i＝1,2,...,N}，其中，每个样本中所有概率的和是1，即s₁+s₂＝1。