[发明专利]基于改进RTFNet的纯视觉自动驾驶控制系统、方法、介质

说明书

本发明公开了基于改进RTFNet的纯视觉自动驾驶控制系统、方法、介质，涉及自动驾驶控制领域。针对传统自动驾驶方法在夜间、迎面车灯眩光、雨\雪、沙尘暴和雾霾等低可见度环境下行驶效果欠佳的问题，在语义分割模块引入一种改进的基于多模态特征融合的语义分割方法RTFNet，使用自制数据集训练改进RTFNet网络模型，融合RGB图像和热红外图像并进行语义分割生成分割图，将分割图作为强化学习系统的输入状态进行训练，使两类图像数据优势互补，从而提高自动驾驶系统的感知能力、泛化能力和可靠性。在强化学习模块引入模仿学习预训练和DDPG算法，通过在自动驾驶仿真试验台和真实环境中训练强化学习模型使得自动驾驶系统逐步达到人类可以接受的驾驶水平。

技术领域

本发明涉及自动驾驶控制领域，特别是涉及基于改进RTFNet的纯视觉自动驾驶控制系统、方法、介质。

背景技术

随着科技的发展和人民生活水平的提高，自动驾驶技术在生产和生活中得到了广泛的普及，能够有效地减少驾驶员的疲劳、增加驾驶安全性。自动驾驶技术是指汽车等交通工具在驾驶过程中可以通过车载传感器接收外界驾驶环境的相关信息，将所探测到的道路、车辆位置和障碍物等信息输入到车载设备上位机的CPU或GPU进行逻辑推理和运算，然后将结果指令输出到执行器，进而通过改变转向、速度等控制交通工具的运行，实现交通工具在限定或非限定条件下代替人类驾驶员进行部分自动或全自动驾驶。低可见度环境下自动驾驶技术是自动驾驶领域的一个热点问题，得到了十分广泛的关注。

目前大多数自动驾驶技术都是基于激光雷达和RGB摄像头提供的外界驾驶环境的相关信息，使用传统控制方法进行决策的。传统控制方法一般是建立发动机和交通工具行驶过程的近似数学模型，在此基础上设计控制器进行控制，对模型的数学建模具有依赖性，当模型阶数和参数出现误差时,控制就达不到预期的效果。由于现实低可见度环境具有特征稀疏、高度复杂以及不确定性强的特点，无法向车载设备上位机提供外界驾驶环境的准确信息，导致强化学习算法的鲁棒性差且不易收敛。激光雷达工作时易受恶劣环境影响且存在定位误差，激光雷达和与之配套的高精度地图价格高昂。算法在夜间、迎面车灯眩光和雾霾等低可见度环境下效果欠佳。这些问题大大影响了自动驾驶的经济性、实用性和可靠性。

发明内容

本发明解决的是目前自动驾驶在低可见度环境下行驶效果不佳的问题，提供了基于改进RTFNet的纯视觉自动驾驶控制系统、方法、介质，能够提高自动驾驶控制系统的感知能力、泛化能力和可靠性，减少低可见度环境下自动驾驶的事故率。应用于自动驾驶时，能够更好的适应夜间、迎面车灯眩光、雨\雪、沙尘暴和雾霾等低可见度环境，从而实现全天候自动驾驶。

本发明为了达到上述目的采用的技术方案是：

基于改进RTFNet的纯视觉自动驾驶控制系统，包括探测单元、车载上位机。

所述探测单元布置在汽车预设的探测位置处，采用车载RGB摄像头和车载FLIR红外热像仪采集道路交通状态的RGB图像和热红外图像。

所述车载上位机嵌入自动驾驶车辆控制程序，所述自动驾驶车辆控制程序包括语义分割模块、强化学习模块、决策模块。

所述语义分割模块，采用改进的RTFNet网络模型，用于训练探测单元采集的热红外-RGB联合数据集，用以对图像中的自行车、汽车、人体、车道线、障碍物和道路边缘进行语义分割生成分割图。

所述热红外-RGB联合数据集：利用探测单元采集的道路交通状态的RGB图像和热红外图像。

所述强化学习模块：根据专家经验数据集，对DDPG模型进行预训练，将分割图输入经预训练的DDPG模型，获得DDPG模型的损失函数值和优化DDPG模型参数。

所述决策模块：根据DDPG模型获取的损失函数值和优化DDPG模型参数在自动驾驶仿真实验台环境中迭代获得离线决策模型；对离线决策模型在真实环境中进行迭代获得最终决策模型，根据外界驾驶环境进行推理决策。