[发明专利]一种自动驾驶场景下的异构多任务协同系统

说明书

本发明提供一种自动驾驶场景下的异构多任务协同系统，该系统以端到端的方式学习特定任务的提示，然后基于交叉注意机制对适配器功能进行建模，从而将语言信息作为先验知识纳入视觉特征中；可以显著提高现成的在单任务学习中有强大性能的预训练模型在多任务学习中的性能，且无需重新设计预训练方案或增加训练模型的开销，实现了在训练中较好地迁移到特定的下游任务。

技术领域

本发明涉及自动驾驶领域和多任务协同训练领域，更具体地，涉及一种自动驾驶场景下的异构多任务协同系统。

背景技术

异构多任务学习是计算机视觉中一个长期研究的问题，现已成为自动驾驶的一种新兴的研究方向。自动驾驶汽车需要同时执行多项感知任务，例如：定位行人和汽车、决定道路上是否可行驶以及检测车道线从而执行驾驶的这一行为。

多重感知任务的联合学习不仅可以减少自动驾驶模型的训练和推理时间，而且还可以学习传感器数据的广义表示。除了效率和简单性之外，这种多重感知任务联合学习的一体化架构有可能通过隐式学习异构任务之间的协同作用，达到增强驱动系统鲁棒性的目的。

然而，多任务联合学习很多时候不能达到更好的效果。究其原因在于负转移现象的存在：由于不同的任务间存在冲突，可能会导致单个任务的性能的退化。不同任务的异质性进一步加剧了这一问题，并为训练一个统一的模型带来了许多困难。首先，多任务学习的性能依赖于许多因素，包括模型的架构、数据增强的方式、模型的超参数和模型的收敛特性等。针对特定类型的网络结构或任务的特定技术，通常不适用于通用的体系结构。因此一般的特征表示方法在训练中很难很好地在特定的下游任务中起到很好的效果。

其次，模型在预训练和微调阶段的目标差异，也会导致多任务学习的性能下降，因为大多数监督和自我监督方法是针对特定类型的目标或任务的。此外，由于数据标注是一种劳动密集型的过程，很难为所有任务收集所需的不同粒度的完整标注，这使情况更加复杂。

在只有部分任务标注的异构多任务学习中，不同的有监督和自监督预训练方法的性能都有所下降，一些方法的性能甚至大幅降低，远远落后于单任务学习的方法。现有的预训练方法包括监督预训练方法，面向分类的预训练方法如SimCLR,无监督视觉表征预训练方法如MoCo,面向检测的预训练方法如DeTCo，和面向分割的预训练方法如DenseCL。它们在大型自动驾驶数据集BDD100K的三个不同细粒度任务(目标检测、语义分割和可行驶路面分割)的联合学习中所表现出的性能存在很大的差异。其中一些方法在语义分割任务上表现出了非常低的性能。

除了有监督和自我监督的预训练方法外，CLIP是一种通过使用大量含有噪声的图像-文本对执行对比学习来学习高质量的视觉表示的跨模态对比学习方式。其采用ResNet和BERT作为图像和文本的编码器。CLIP模型对ResNet的第五个卷积层的最后一个输出特征映射进行了注意力池化和L2归一化，生成了用于零样本推理的全局图像特征。为了提取每个类的文本特征，CLIP模型通过提示生成函数构造语义类别特定的提示语句，并将其输入文本编码器，从而得到所有类别的归一化输出特征。对比语言-图像预训练方法(CLIP)在零样本图像识别方面也取得了突破性的性能，表明了它在提高多任务学习的通用性和鲁棒性方面具有很大的潜力。从迁移学习的角度来看，CLIP可以作为一种补充方案来增强预训练-微调方式，因为它可以理解自然语言中的概念以及视觉和语言特征之间的对应关系。

虽然CLIP模型的全局图像特征和类别的语义特征在图像-文本对比的预训练中可以很好地对齐，但它们没有保留任何的空间细节，因此也不能直接用于下游的细粒度任务。

另外，如果只重用了图像编码器的权重而丢弃了文本编码器，就无法完整地利用CLIP模型中的知识。因此，我们通过提升不同任务的语义类别与图像特征的兼容性，为下游任务生成语义上更强的上下文特征。除此之外，CLIP模型中使用的提示生成函数使用预定义的模板输出手工制作的提示，这导致模型性能对模板的形式非常敏感，当迁移到异构的下游任务时效果不佳。