[发明专利]一种自动驾驶场景下的异构多任务协同系统

权利要求书

1.一种自动驾驶场景下的异构多任务协同系统，其特征在于，包括图像编码器、文本编码器、适配器、物体探测器和分割解码器；

图像编码器用于对采集的车辆行驶道路图像中的图像进行编码；

文本编码器用于对采集的车辆行驶道路图片中的文本进行编码；

适配器用于对编码后的图像和文本进行适配；

物体探测器用于进行交通物体检测；

分割解码器将经适配后的文本进行语义分割任务处理，将经适配后的图像进行可驱动路面分割任务处理，将物体探测器的数据进行交通物体检测任务处理。

2.根据权利要求1所述的自动驾驶场景下的异构多任务协同系统，其特征在于，在进行语义分割任务处理和可驱动路面分割任务处理时，分割解码器的头部包括基于MaskFormer的头部。

3.根据权利要求2所述的自动驾驶场景下的异构多任务协同系统，其特征在于，所述的MaskFormer由一个全卷积像素解码器和一个transformer解码器模块组成，它将分割任务看作一个掩码的分类任务。

4.根据权利要求3所述的自动驾驶场景下的异构多任务协同系统，其特征在于，所述的全卷积像素解码器以特征图金字塔网络的第二到第五个卷积层的输出特征作为输入，对特征逐层上采样后产生高分辨率的像素特征。

5.根据权利要求4所述的自动驾驶场景下的异构多任务协同系统，其特征在于，所述transformer解码器模块利用一组固定的查询来关注图像特征，并产生掩码特征。

6.根据权利要求5所述的自动驾驶场景下的异构多任务协同系统，其特征在于，将像素特征和掩码特征相乘，生成预测掩模。

7.根据权利要求6所述的自动驾驶场景下的异构多任务协同系统，其特征在于，在进行交通物体检测任务处理时，分割解码器的头部包括Sparse R-CNN，Sparse R-CNN将一组固定数目的可学习的区域建议框输入一系列动态实例交互头部结构用于预测。

8.根据权利要求7所述的自动驾驶场景下的异构多任务协同系统，其特征在于，针对处理未标记的数据，系统使用自训练的方法，基于每个任务的可用标注训练了三个单任务教师模型，并使用它们在未标记的数据上生成伪标签，其中单任务教师模型沿用了在已标记的数据上训练过的Sparse R-CNN和MaskFormer相同的网络架构和训练方式。

9.根据权利要求6所述的自动驾驶场景下的异构多任务协同系统，其特征在于，尽管三个任务有不一致的输出形式，它们都需要确定框和像素的类别，使用特定于任务类别的prompt来完成模型参数的微调：

n_i是指属于特定任务的类别名字的特征，v_i是可学习的上下文参数，Gen是prompt生成函数，TE是文本编码器，L2_NORM是L2正则化。

10.根据权利要求9所述的自动驾驶场景下的异构多任务协同系统，其特征在于，通过学习一个适配器函数A，为下游任务生成语言感知的上下文，适配器利用transformer解码器中的交叉注意机制来进行语言到视觉的特征融合：

A(T,z)＝TransDecoder(q＝z,kv＝T)

q、k、v表示查询、键和值，T是N个类的正则化输出特征，z表示FPN第五层的最后一层特征；T的通道数通过一个全连接层进行调整，上述公式的输出用以替代FPN的最后一层特征，并保持特定任务的头部设计不变。