[发明专利]一种端到端自动驾驶行为决策方法、系统及终端设备

说明书

本发明公开了一种端到端自动驾驶行为决策方法、系统及终端设备，属于自动驾驶领域。通过嵌入注意力机制的卷积神经网络提取场景空间位置特征，构建空间特征提取网络，准确解析场景目标空间特征及语义信息；通过嵌入时间注意力机制的长短期记忆网络编码‑解码结构捕捉场景时间上下文特征，构建时间特征提取网络，理解记忆场景时间序列信息；本发明综合场景空间信息与时间序列信息，同时结合注意力机制为关键视觉区域和运动序列赋予较高权重，使得预测过程更符合人类驾驶员的驾驶习惯，预测结果更加准确。

技术领域

本发明属于自动驾驶领域，涉及一种自动驾驶行为决策方法，尤其是一种端到端自动驾驶行为决策方法、系统及终端设备。

背景技术

自动驾驶决策技术是人工智能和自动驾驶领域的一个重要研究方向，其决策的有效性在很大程度上影响着整个自动驾驶系统的性能，然而当前传统的基于规则的自动驾驶决策方法不符合人类驾驶行为的习惯，自动驾驶行为决策同时也成为了自动驾驶领域的一个经典难题。自动驾驶行为决策不仅仅与当前车辆所处驾驶场景有关，同时也与车辆历史运动速度有关，因此我们要考虑到当前驾驶场景和历史运动状态对车辆的共同影响。人类视觉系统可以有选择地注意到所观察场景的主要内容，而忽略到其他的次要内容，在车辆行驶中驾驶员应该关注对驾驶决策影响较大的事物，例如车辆、行人、交通信号灯等，而忽略那些对于驾驶不重要的特征，比如天空，树木等。因此基于注意力机制和时空特征的端到端的自动驾驶决策模型成为了一个新的研究热点。

自动驾驶决策方法主要分为基于规则的自动驾驶决策方法和端到端的自动驾驶决策方法。基于规则的决策方法将自动驾驶决策过程分为不同的任务模块，根据交通态势理解划分车辆状态，并结合人工构建的规则库和先验知识生成实时合理的驾驶动作，进而实现对自动驾驶车辆的控制。而基于端到端学习的自动驾驶模型则可将场景环境感知、目标识别、目标跟踪和规划决策等多种驾驶子任务统一到深度神经网络中，直接将感知信息映射为油门、方向盘和制动等控制量，完成从认知到决策的统一，无需进行模块拆分，可简化特征工程繁琐的任务步骤，使自动驾驶系统结构更加简单、高效。目前现有的端到端自动驾驶决策方法没有考虑车辆历史运动状态对车辆决策的影响，也存在着决策准确率低、效率过低等问题。

发明内容

为了克服上述现有技术中，端到端自动驾驶决策方法没有考虑车辆历史运动状态对车辆决策的影响、决策准确率低、效率过低的缺点，本发明的目的在于提供一种端到端自动驾驶行为决策方法、系统及终端设备。

为了达到上述目的，本发明采用以下技术方案予以实现：

一种端到端自动驾驶行为决策方法，包括如下步骤：

基于图像信息、深度信息和语义分割信息，通过嵌入注意力机制的卷积神经网络获取场景的空间特征；

基于车辆历史运动状态序列信息，通过嵌入注意力机制的记忆网络编码-解码结构获取时间特征；

将空间特征与时间特征连通，建立端到端自动驾驶行为决策模型，并获取端到端自动驾驶行为预测结果。

优选地，空间特征的提取过程包括：

将打包后的图像和深度图像输入至主干网络中，获取图像信息和深度信息；

图像信息通过主干网络和金字塔池化，获取语义分割信息；

将图像信息、深度信息和语义分割信息输入至连接层，生成固定长度的空间特征向量，获取场景的空间特征；

其中，主干网络中嵌入了注意力机制。

进一步优选地，图像信息和深度信息的获取过程为：

利用三个空间注意力分支网络捕捉输入特征图，建立空间维度和通道维度之间的交互，获取空间注意力图；