[发明专利]通过投射特征训练多任务学生网络的知识融合方法

说明书

通过投射特征训练多任务学生网络的知识融合方法，由以下步骤组成：首先初始化TargetNet(目标学生网络)的结构与教师网络相同，通过通道编码，将TargetNet中融合的特征图投射为对应任务的特征图；逐个训练TargetNet中与教师网络对应的block，得到融合的特征图；确定TargetNet中不同任务开始分支的各自位置；将教师网络中的对应block加入学生网络，作为不同任务的分支，并移除TargetNet中末端的block，得到TargetNet最终结构；最后调优学生网络。本方法能够使用无标签数据集，融合多个不同任务的教师网络，得到性能优越的轻量级学生网络。

技术领域

本发明涉及学生网络的知识融合方法。

背景技术

场景语义分割是对图像进行像素级别的标签分类。目前场景语义分割的主流方法为使用卷积神经网络。现有的深度网络模型主要有PSPNet，RefineNet，FinerNet，SegNet。其中PSPNet使用金字塔池化操作获得多尺度特征；RefineNet使用多通路的网络结构，融合低层特征与高层语义特征；FinerNet通过级联一系列的网络，得到不同粒度的语义图；SegNet则使用编码器-解码器结构。其中SegNet网络鲁棒性强，性能先进，故使用该网络为本专利技术的基本网络结构。

早期深度估计方法使用手工定义的特征和图模型，如将深度问题转化为马尔可夫条件随机场问题，这些方法性能不佳。目前方法主要采用卷积神经网络，自动学习不同特征。如使用多尺度深度网络，预测粗粒度深度，随后细化。另有其他方法将深度估计问题与场景语义分割、表面法向量预测任务结合，进行多任务预测。深度估计问题与场景语义分割问题的主要区别在于，前者的输出为连续的正数，后者输出为离散的标签。本专利技术中，将深度估计问题转化为分类问题，将深度划分为N个范围，预测落在各个范围中心部分的概率，计算得到连续的深度值，得到深度估计教师网络。

表面法线预测是对图像进行逐像素的表面法向量预测。表面法线经常在计算机图形学中用于计算光照。现有的法线预测神经网络模型中使用RGB图像或RGB-D图像作为输入。

知识蒸馏技术能够学习事先训练好的深度网络教师模型，通过训练软目标得到一个精简的低复杂度学生网络。该学生网络能够达到与教师网络相近，甚至更高的性能。知识蒸馏技术能够有效利用现有的深度网络模型，一定程度上减轻深度学习领域中标签数据不足的问题。该技术应用于计算机视觉领域的分类问题时主要有两种方式：一种使用单个教师网络，或一组同类别分类的教师网络，得到低复杂度学生网络；另一种通过学习多个分类不同类别的教师网络，得到能够处理复杂分类任务的学生网络。该技术还可应用于目标检测、深度估计以及自然语言处理的序列模型等，可以达到超越教师网络的性能。目前该技术目前的局限性在于只能学习单个教师网络，或一组同任务类型的教师网络，得到的学生网络无法处理多任务。

发明内容

本发明要克服传统知识蒸馏只能学习单个任务的缺陷，以及多任务视觉应用场景中计算资源不足的的不足，在使用无标签数据集、保证学生网络规模不大的基础上，提供一种通过投射融合特征，训练得到多功能高精度学生网络的办法，能够融合多个不同任务的教师网络。

本发明是一种使用针对不同任务的多个教师网络，通过投射融合特征的训练紧凑多功能学生网络的知识融合方法。本发明的通过投射特征训练多任务学生网络的知识融合方法，包括如下步骤：

1)初始化目标网络TargetNet结构，与教师网络相同；

网络使用编码器-解码器结构，编码器中block由卷积层和池化层组成，解码器中block由卷积层和上采样层构成。为TargetNet的第n个block输出的融合特征图，使用不同的通道编码将转化为不同任务域中的特征F_us和F_ud。

2)逐个训练TargetNet的block，得到融合特征图