[发明专利]一种通道自关联的知识蒸馏方法与系统

权利要求书

1.一种通道自关联的知识蒸馏方法，其特征在于包括以下步骤：

步骤S1：向教师模型和学生模型中输入相同的图片数据，得到学生模型和教师模型的图片特征，选定学生模型和教师模型中需要进行知识蒸馏的卷积特征层，选定的学生模型的中间特征层为：，选定的教师模型的中间特征层为：，其中，C_s/t表示通道数目，H_s/t表示特征图高度，W_s/t表示特征图宽度；

步骤S2：将选定的学生模型和教师模型卷积特征层的通道进行通道自关联，通道自关联的方式如下：

设定一个二维整数矩阵，其中，，所述二维整数矩阵中值为正整数，且仅为0或者1，所述二维整数矩阵的行表示选定的学生模型特征层的通道数，列表示选定的教师模型特征层的通道数，矩阵值为0时，表示学生模型特征层的行对应的通道，不从教师模型特征层的列对应的通道学习知识，矩阵值为1时，表示学生模型特征层的行对应的通道，从教师模型特征层的列对应的通道学习知识；学生模型的每个通道可以与教师模型的多个通道关联，而教师模型的每个通道可以传输知识到学生模型的多个通道；

步骤S3：自关联后的教师模型通道通过加权方式传输知识至学生模型通道；

步骤S4：根据关联的通道蒸馏知识，并进行训练，在训练时同时优化自关联的二维整数矩阵和学生模型：

其中，表示损失函数，x_i表示输入的图片数据，y_i表示真实的标签，表示学生模型的预测输出值，W表示学生模型的参数，N表示输入图片数量，M表示二维整数矩阵；

步骤S5：部署训练好的学生模型，输入图片数据进行推理测试。

2.根据权利要求1所述的一种通道自关联的知识蒸馏方法，其特征在于所述步骤S1中，分别从教师模型和学生模型的中间卷积层中选择一个以上特征层。

3.根据权利要求1所述的一种通道自关联的知识蒸馏方法，其特征在于所述步骤S3中，学生模型每个通道在融合教师模型通道特征时，采用加权方式，权重包括但不限于通过计算每个关联的教师模型和学生模型通道的语义相关性得到，其形式化为：

其中，R表示变形函数，F_t[c_t]表示特征层F_t第c_t通道的特征（0c_tC_t），F_s[c_s]表示特征层F_s第c_s通道的特征（0c_sC_s），||•||₂表示2元范数。