[发明专利]一种基于时空联合递归神经网络的智能车端到端决策方法

摘要

本发明公开了一种基于时空联合递归神经网络的智能车端到端决策方法，包括建立时空约束神经网络、建立时空联合递归神经网络训练模型和时空联合递归神经网络模型测试等步骤，从空间位置约束和时间上下文约束的角度出发利用卷积神经网络提取场景中的空间位置特征和利用LSTMs网络捕捉场景中的时间上下文特征，构建出时空联合约束网络的框架，根据输入图像直接计算决策量，将感知认知过程统一到决策过程中，这种同步优化所有过程的方法可以获得更好的表现并且简化了系统结构，能够准确预测方向盘转角值。

主权项

1.一种基于时空联合递归神经网络的智能车端到端决策方法，其特征在于，包括以下步骤：S1、建立时空约束神经网络，所述时空约束神经网络包括空间约束网络和和时间约束网络，所述空间约束网络采用卷积神经网络提取若干单帧图像中的空间位置关系，所述时间约束网络采用递归神经网络提取连续的所述空间位置关系中的长期依赖关系；S2、建立时空联合递归神经网络训练模型，输入数据建立预处理数据集，剔除预处理数据集中的无效场景图像样本，将剩余数据集样本分为训练样本集和验证样本集，使用交叉验证法依次选择所述训练样本集和验证样本集中的图像样本作为所述时空联合递归神经网络训练模型的测试样本集，再选择损失函数值和验证损失函数值的最小值作为最终模型的输出与样本标签值，然后用所述测试样本集测试所述训练模型来预测车辆方向盘转角能力；S3、时空联合递归神经网络模型测试，利用所述时空联合递归神经网络训练模型预测所述测试集中的图像输出，计算其输出与样本标签值的均方误差根，根据模型的均方误差根评估模型预测方向盘转角的能力。