[发明专利]通过投射特征训练多任务学生网络的知识融合方法

摘要

通过投射特征训练多任务学生网络的知识融合方法，由以下步骤组成：首先初始化TargetNet(目标学生网络)的结构与教师网络相同，通过通道编码，将TargetNet中融合的特征图投射为对应任务的特征图；逐个训练TargetNet中与教师网络对应的block，得到融合的特征图；确定TargetNet中不同任务开始分支的各自位置；将教师网络中的对应block加入学生网络，作为不同任务的分支，并移除TargetNet中末端的block，得到TargetNet最终结构；最后调优学生网络。本方法能够使用无标签数据集，融合多个不同任务的教师网络，得到性能优越的轻量级学生网络。

主权项

1.一种通过投射特征训练多任务学生网络的知识融合方法，包括下列步骤：1)初始化目标网络TargetNet结构，与教师网络相同；网络使用编码器‑解码器结构，编码器中block由卷积层和池化层组成，解码器中block由卷积层和上采样层构成；为TargetNet的第n个block输出的融合特征图，使用不同的通道编码将转化为不同任务域中的特征F_us和F_ud；2)逐个训练TargetNet的block，得到融合特征图对双任务教师网络，将无标记样本输入教师网络SegNet和DepthNet，得到不同任务的特征图和将教师网络的对应block的和分别替换为F_us和F_ud，替换后通过SegNet得到预测分割DepthNet得到预测深度最后对于预测值和教师网络原有预测结果S，D，建立损失函数对于多任务教师网络，一种方法使用不同通道编码映射并通过NormNet得到预测法向量建立损失函数另一种用已训练好的分割与深度估计学生网络TargetNet‑2和NormNet作为教师网络，根据步骤1.2)为学生网络TargetNet‑3引入通道编码U‑Channel Coding，映射为M‑Channel Coding映射为随后将根据步骤1.2)和步骤2.1)得到将根据步骤2.1)得到建立损失函数3)确定TargetNet中不同任务的各自分支位置；根据步骤2)中每个block的最终loss，对不同任务选择分支点p：p＝arg min_nLⁿ；4)使用教师网络中的对应分支作为学生网络的分支；确定不同任务的分支位置后，移除TargetNet中从靠后的分支点到网络末尾之间的所有block；不同任务的分支使用对应教师网络中block，得到最终的TargetNet结构；使用步骤2)中的损失函数，利用梯度下降调优TargetNet。