[发明专利]一种基于多任务学习的场景理解方法

权利要求书

1.一种基于多任务学习的场景理解方法，其特征在于，主要包括同方差不确定性的多任务学习(一)；多任务似然函数(二)；场景理解模型(三)。

2.基于权利要求书1所述的同方差不确定性的多任务学习(一)，其特征在于，多任务学习涉及到针对多个目标优化模型的问题；组合多目标损失的方法是执行每个单独任务的损失的加权线性和：

但是模型性能对于权重w_i的选择非常敏感；在一些最佳权重下，联合网络比单独训练的单独网络更好，单独执行每个任务的训练，在图像的两个边缘看到单个任务中的模型的性能：w＝0和w＝1；在接近于最优权重值时，网络在其中一个任务上表现较差，因此需要学习最优的任务权重。

3.基于权利要求书2所述的不确定性，其特征在于，在贝叶斯模型中，可以模拟不确定性的两种主要类型：

(1)认知不确定性是模型中的不确定性，它捕获了由于缺乏训练数据而导致模型不了解的地方；可以用增加的训练数据解释；

(2)偶然不确定性捕获了对数据无法解释的信息不确定性；偶然不确定性可以解释为具有以更高的精度观察所有解释变量的能力；

偶然不确定性可再次分为两个子类别：

(1)数据依赖性或异方差的不确定性依赖于输入数据的偶然不确定性，并且可能是模型的输出；

(2)任务依赖性或同方差不确定性是不依赖于输入数据的偶然不确定性；它不是模型输出，而是对于所有输入数据保持不变的数，并且在不同任务之间变化；因此，称它为依赖任务的不确定性；

在多任务环境中，显示了任务不确定性捕获了任务之间的相对置信度，反映了回归或分类任务固有的不确定性；它还将取决于任务的表示或度量单位；因此建议使用同方差的不确定性作为多任务学习问题中权重损失的基础。

4.基于权利要求书1所述的多任务似然函数(二)，其特征在于，推导一个多任务损失函数，该函数基于最大化具有均匀不确定性的高斯似然函数；令f^W(x)为输入x上权重W的神经网络的输出；定义以下概率模型，对于回归任务，将似然函数定义为模型输出给出的平均值的高斯函数：

其具有观测噪声标量σ；对于分类，常通过Softmax函数压缩模型输出，并从得到的概率向量中采样：

p(y|f^W(x))＝Softmax(f^W(x)) (3)

在多个模型输出的情况下，给定足够的统计数据，常定义似然函数来对输出进行因式分解；将f^W(x)定义为足够的统计量，并获得以下多任务似然函数：

p(y₁,…,y_K|f^W(x))＝p(y₁|f^W(x))…p(y_K|f^W(x)) (4)

模型输出为y₁,…,y_K(如语义分割、深度回归等)；

在最大似然推理中，最大化模型的对数似然函数；在回归中，对数似然度可以写为：

logp(y|fW(x))∝-12σ2||y-fW(x)||2-logσ2---(5)]]>

对于具有σ模型的观测噪声参数的高斯似然函数(或类似于拉普拉斯似然函数)，捕获输出中噪声的多少；然后，对模型参数W和观测噪声参数σ最大化对数似然函数。