[发明专利]一种知识显著性与局部模式一致性的知识蒸馏方法与装置

权利要求书

1.一种知识显著性与局部模式一致性的知识蒸馏方法，其特征在于包括如下步骤：

S1，从教师模型和学生模型中选择需要进行知识蒸馏的特征层；

S2，计算所选学生模型特征层与教师模型特征层每个通道的语义相似性；

S3，计算所选学生模型特征层与教师模型特征层每个空间位置的语义相似性；

S4，计算所选学生模型中每个特征位置局部模式与教师模型特征层对应位置局部模式一致度S；

S5，将语义相似性及局部模式一致度融合入损失函数中，训练学生模型。

2.根据权利要求1所述的一种知识显著性与局部模式一致性的知识蒸馏方法，其特征在于所述步骤S1中，分别从教师模型和学生模型的中间卷积层中选择一个以上特征层进行知识蒸馏。

3.根据权利要求1所述的一种知识显著性与局部模式一致性的知识蒸馏方法，其特征在于所述步骤S1中，当教师模型特征层与学生模型特征层的维度不一致时，对学生模型或者教师模型特征层进行转换，使两者保持一致。

4.根据权利要求3所述的一种知识显著性与局部模式一致性的知识蒸馏方法，其特征在于所述步骤S1中当教师模型特征层与学生模型特征层通道数不一致时，使用卷积层对学生模型特征层进行变换，使两者一致。

5.根据权利要求3所述的一种知识显著性与局部模式一致性的知识蒸馏方法，其特征在于所述步骤S1中当教师模型特征层与学生模型特征层空间维度不一致时，对维度较大的一方使用池化方式变换成与另一方维度相等；或对维度较小的一方使用上采样方式变换成与另一方维度相等。

6.根据权利要求1所述的一种知识显著性与局部模式一致性的知识蒸馏方法，其特征在于所述步骤S2中通过余弦距离计算的通道语义相似性：

其中，为通道语义相似度，表示教师模型特征层，表示学生模型特征层，表示2元范数，C表示通道数目，H表示特征图高度，W表示特征图宽度。

7.根据权利要求1所述的一种知识显著性与局部模式一致性的知识蒸馏方法，其特征在于所述步骤S3中通过余弦距离计算的空间位置语义相似性：

其中，表示空间位置语义相似度，表示教师模型特征层，表示学生模型特征层，表示2元范数。

8.根据权利要求1所述的一种知识显著性与局部模式一致性的知识蒸馏方法，其特征在于所述步骤S4中，选择教师模型或者学生模型每个空间位置，计算以该空间位置为中心，一定范围内的局部结构相似性索引度量SSIM，即一致度S：

其中，表示局部结构的均值，表示归一化权重核，p表示中心位置，O表示空间范围，o表示空间范围内的每个位置索引，表示局部结构的方差，表示局部结构的协方差估计，表示常数，SSIM值越大，学生模型和教师模型的空间位置局部结构越相似。

9.根据权利要求1所述的一种知识显著性与局部模式一致性的知识蒸馏方法，其特征在于所述步骤S5中损失函数定义如下：

其中，dist表示特征距离函数，表示任务损失。

10.一种知识显著性与局部模式一致性的知识蒸馏装置，包括：学生模型模块、教师模型模块和模型优化模块，其特征在于所述学生模型模块、教师模型模块，均通过知识显著性模块和局部结构一致性模块，与模型优化模块连接，学生模型模块又与模型优化模块单独连接；

所述学生模型模块，用于学习知识的神经网络模型；

所述教师模型模块，用于提取及传输知识的神经网络模型；

所述知识显著性模块，用于计算教师模型和学生模型所选进行知识蒸馏的特征层的每个通道和每个空间位置的语义相似性；

所述局部结构一致性模块，用于计算教师模型和学生模型所选进行知识蒸馏的特征层每个位置局部模式的一致度；

所述模型优化模块，用于通过语义相似性及局部模式一致度，优化知识蒸馏损失和学生模型的参数。