[发明专利]一种用于图像检索的双重知识蒸馏方法

说明书

本发明公开了一种用于图像检索的双重知识蒸馏方法，该方法提出了由两个专业教师模型和一个学生模型组成的双重知识蒸馏(DKD)框架。两个专业教师模型分别是固定教师模型和动态教师模型。固定教师模型在前数据集的基础上接受训练，然后固定这些数据集的参数，以便转移之前学到的知识，使这些知识在新的任务学习中发挥作用。动态教师模型用来在新数据集的样本上与学生模型共同接受训练，负责学习新知识，是提高学生模型泛化能力的辅助模范。本发明还通过固定教师模型在BatchNorm层中存储的统计数据来生成旧数据集的代表性图像。本发明能逐步将已获得的知识转移到新任务中，同时对旧任务的遗忘率最小化。

技术领域

本发明属于图像检索领域，具体是涉及到一种用于图像检索的双重知识蒸馏方法。

背景技术

自深度学习出现以来，图像检索在文献中得到了广泛的探索。现有的检索工作通常注重提高网络的泛化能力，并假设目标数据集是平稳和固定的。然而，这个假设在许多现实世界的场景是不可行的，因为现实的环境是不稳定的。为此，提出了终身学习，使得深度网络能学习连续性的任务并适应流数据。终身学习系统的主要挑战是克服打击性的遗忘，和学习新数据时产生的对于旧数据获得的综合知识的干扰。

知识蒸馏可以通过将学习到的信息从一个训练过的网络(即教师模型)转移到一个新的网络(即学生模型)来减少遗忘。对于图像分类、目标检测、图像生成等各种分类的任务，其有效性已经得到了很好的研究。

发明内容

目前，知识蒸馏在图像检索效率方面的研究仍然较少。首先，深度模型会学习不同的任务的增量检索，而训练之间的语义漂移将会导致这些任务之间的相关性很弱，如图1中的鸟、狗和汽车就是一组相关性极弱的任务的例子。因此，知识蒸馏并不能有效地防止跨任务的流数据的遗忘。第二，当模型学习新任务时，任务之间的弱相关性会导致模型参数的显著更新。图像检索对特征之间的匹配非常敏感。因此，特征的微小变化也将对特征匹配产生重大影响。输出特性的变化使将遗忘最小化变得更加困难。第三，传统知识蒸馏的工作框架更加注重在教师模型网络中的知识的保存。这可能会很难在最小化遗忘率和提高网络检索泛化能力之间寻求最佳平衡。

为了将遗忘率最小化，同时提高泛化性能，本发明提出了一种用于图像检索的双重知识蒸馏方法，包括由两个专业教师模型和一个学生模型组成的双重知识蒸馏框架，如图2所示，其中，两个专业教师模型分别是固定教师模型和动态教师模型。在训练任务t之前，固定教师模型在前任务的基础上接受训练，然后固定其参数，并对全连接层嵌入的D维特征进行知识蒸馏；在学生模型学习任务t时，使用固定教师BatchNorm层中存储的统计数据来生成样本，作为前任务的代表，来减少对前一任务的遗忘，学生模型的参数从固定教师模型上复制，其训练方案与固定教师模型一致；动态教师模型与学生模型共同接受训练，进行辅助知识蒸馏来提高学生模型对新任务的泛化能力。本发明中使用三元组损失函数作为基本约束来训练模型。

在训练任务t之前，已经对固定教师模型进行了前任务(t−1)的训练，并确定了其参数。对学生模型进行新任务t的训练会导致负向迁移，这可能会降低前一个任务的性能，知识蒸馏通过使用固定教师模型可以防止这种问题。如图2所示，利用固定教师模型对全连通层中嵌入的D维特征进行知识蒸馏，公式为，其中N为mini batch的大小。同样，来自学生模型的特征表示为,从固定教师模型和学生模型中进行特征提取时，语义相似的输入能产生相似的模式。因此，采用带有核函数的Gram矩阵来度量特征相关性。

K(·)为内积，即。中的每一项表示同一激活(i=j)或不同激活(i≠ j)之间的相关性。本发明使用Kullback-Leibler (KL)散度来表征和，由Softmax函数归一化。因此，将固定教师模型的知识蒸馏损失写成，用一个因子加权: