[发明专利]基于改进RTFNet的纯视觉自动驾驶控制系统、方法、介质

权利要求书

1.基于改进RTFNet的纯视觉自动驾驶控制系统，包括探测单元、车载上位机，其特征在于：

所述探测单元布置在汽车预设的探测位置处，采用车载RGB摄像头和车载FLIR红外热像仪采集道路交通状态的RGB图像和热红外图像；

所述车载上位机嵌入自动驾驶车辆控制程序，所述自动驾驶车辆控制程序包括语义分割模块、强化学习模块、决策模块，模块协同工作，实现自动驾驶控制；

所述语义分割模块，采用改进的RTFNet网络模型，使用探测单元采集的热红外-RGB联合数据集进行训练，用以对图像中的自行车、汽车、人体、车道线、障碍物和道路边缘进行语义分割生成分割图；

所述强化学习模块：根据专家经验数据集，对DDPG模型进行预训练，将分割图输入经预训练的DDPG模型，获得DDPG模型的损失函数值和优化DDPG模型参数；

所述决策模块：根据DDPG模型获取的损失函数值和优化DDPG模型参数自动驾驶仿真试验台中迭代获得离线决策模型；在真实环境中采集真实驾驶动作决策数据集，对离线决策模型进行优化迭代，获得最终决策模型；根据最终决策模型进行自动驾驶控制实车决策；

所述热红外-RGB联合数据集：利用探测单元采集的道路交通状态的RGB图像和热红外图像；

所述改进的RTFNet网络模型，包括道路交通状态的RGB图像分支、道路交通状态的热红外图像分支、第一融合层、第二融合层、语义特征融合模块、上采样层模块、解码器层、解码器模块及softmax激活函数；

其中，道路交通状态的RGB图像分支包括依次连接的编码器、多头自注意力模块(MHSA)、第一残差模块、第二残差模块、第三残差模块和第四残差模块；道路交通状态的热红外图像分支包括依次连接的编码器、多头自注意力模块、最大池化模块和连接的三个残差模块；第四残差模块的输出的语义特征及道路交通状态的热红外图像分支的最后一个残差模块的输出的语义特征经第一融合层融合后依次传递到上采样层模块、解码器层、解码器模块，在道路交通状态的RGB图像分支和热红外图像分支中编码器的ReLu激活函数分别与上采样层A之间增加跃层连接；经softmax激活函数作用后生成分割图；

其中，所述编码器包括依次连接的可分离卷积层(separable convolution)、批归一化层、ReLu激活函数；

所述第一残差模块包括依次连接的融合层、最大池化层、残差模块；

所述第二残差模块包括连接的融合层及残差模块；

所述第三残差模块包括连接的融合层及残差模块；

所述第四残差模块包括连接的融合层及残差模块；

所述最大池化模块包括连接的融合层及最大池化层；

所述上采样层模块包括连接的上采样层A及上采样层B；

解码器模块包括依次连接的三个解码器层；

设计连接的第二融合层和语义特征融合模块，其中，第二融合层有四个输入分支，分别接收道路交通状态的热红外图像分支中多头自注意力模块输出的语义特征和输入到三个残差模块的语义特征，经融合层融合后传递给语义特征融合模块，其中，每一个输入分支的权重都设置为可学习权重；语义特征融合模块有四个输出分支，分别连接RGB图像分支第一残差模块、第二残差模块、第三残差模块、第四残差模块中的四个融合层，将四个融合层的输入语义特征分别融合，其中，每一个输出分支的权重都设置为可学习权重。