[发明专利]基于自适应任务权重的多任务网络模型训练方法及系统

说明书

本发明涉及基于自适应任务权重的多任务网络模型训练方法及系统。本发明通过一个特定于任务的策略学习共享模式，该策略自主选择在多任务网络中执行哪些层，并且能够同时搜索与任务较匹配的权重，以更好地训练模型。本发明基于ResNet重构了多任务网络模型，训练过程中根据数据集中的图像有效地优化了学习策略，提高了任务指标的同时克服了多任务模型的单一性。本发明基于概率论极大似然估计推导了适用于回归和分类任务的多任务损失函数，其能够在训练过程中自动调节任务权重以更好地提升模型性能，克服了任务权重不灵活的问题。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于自适应任务权重的多任务网络模型训练方法及系统。

背景技术

场景理解任务是计算机视觉领域中的一个重要问题，涉及不同单位和尺度的各种回归和分类任务的联合学习，其中包括描述不同场景部分身份的语义标签和描述物理几何形状的表面法线。这些经常表示为像素图，其中包含每个像素的值或标签，比如一张图在每个像素包含物体的语义标签或者表面法向量的向量坐标。

多任务学习(Multi-task Learning,MTL)是一种同时学习多个任务的方法，其能够使用从每个任务中学习到的共享知识帮助其他任务学习，相比单任务学习更有效，可以更好地提高模型的性能。

当前多任务学习的研究中存在着两个严重的问题：(1)大多数现有的多任务学习方法皆是采用硬参数共享和软参数共享机制以实现特征共享，在这两种机制中，每个任务的模型均是固定的，然而在社会生活中，存在着各种各样的任务，当然也就需要不同的共享模式，仅仅依靠固定机制难以满足实际需求；(2)由于存在多个任务，因此任务之间的平衡尤其重要，现有研究大多采用加权线性和进行简单处理，即手工选取每个任务的权重，显然这是很不灵活的，若选取了不恰当的权重将导致不同任务的学习效果较为悬殊。

发明内容

本发明的一个目的是针对现有技术的不足，提供了一种基于自适应任务权重的多任务网络模型训练方法，将数据组合在一起以提高泛化性能，并利用有监督模式训练模型，提升了语义分割和表面法线估计的指标。

一种基于自适应任务权重的多任务网络模型训练方法，包括以下步骤：

步骤(1)、构建多任务网络模型；其中多任务网络模型包括多个任务的网络模型；每个任务的网络模型包括ResNet主干网络、特定任务层；特定任务层由1个ASPP(AtrousSpatial Pyramid Pooling)层组成，每个ASPP层包括四个并行的分类模块；每个任务的输出是由四个分类模块的结果进行相加；

步骤(2)、对多任务网络模型进行预训练；具体是

2-1利用学习策略对每个任务的网络模型进行自适应学习；

所述学习策略具体如下：

给定一组相关的任务，假设其集合为T＝{T₁,T₂,…,T_K}，对任务T_k模型中主干网络的每一残差块l赋予决策变量u_l,k，该决策变量u_l,k∈{0,1}，当u_l,k＝0时对任务k跳过第l层，当u_l,k＝1时对任务k选择第l层；

由于决策变量u_l,k是离散不可微的，因此可将通过Gumbel Softmax采样方法使其连续化；假设任务k选择第l个残差块的概率为α_l,k，那么关于ResNet主干网络残差块l的策略分布即为π_l,k＝[1-α_l,k,α_l,k]，利用其得到选择或跳过决策：