[发明专利]使用深度视频帧预测来训练自主车辆的控制器

说明书

本公开提供了“使用深度视频帧预测来训练自主车辆的控制器”。图像预测器被训练为基于由车辆摄像机捕获的N个先前图像以及车辆控制来产生预测图像。鉴别器被训练为区分图像流中的P个先前图像之后的图像与并非后续图像的图像。控制发生器基于一组N个图像生成估计控制，并且所述估计控制和一组N个图像被输入到所述图像预测器。将预测图像和所述一组N个图像输入到所述图像预测器，所述图像预测器输出指示所述预测图像是否准确的值。基于此值的损失函数和所述车辆控制与所述一组N个图像的估计控制之间的差被用作用于训练所述控制发生器的反馈。

技术领域

本发明涉及用于自主车辆的控制算法。

背景技术

近期在深度学习方面取得的成功已促使将深度学习应用于与自主驾驶相关的多种基于视觉的问题。特别地，若干近期工作已经开发出用于自动车辆的端对端驾驶的基于深度学习的框架。例如，给定行车记录仪图像，先前方法产生转向命令和速度命令来驱动汽车。

本文所公开的系统和方法提供了用于训练用于自主车辆的基于图像的控制算法的改进方法。

发明内容

在本发明的一个方面，一种方法包括使用计算装置来执行方法，所述方法包括：将多组图像以及每组图像的对应控制输入输入到图像预测器；将所述多组图像和每组图像的来自所述图像预测器的预测图像输入到鉴别器中；以及根据每个组的来自所述鉴别器的输出进一步训练控制发生器。

在一些实施例中，所述一组图像是来自安装到车辆的摄像机的输出的一组连续图像。

在一些实施例中，每个组的来自所述鉴别器的所述输出是两个值中的一个，所述两个值中的第一个指示积极结果，而所述两个值中的第二个指示消极结果。

在一些实施例中，每组图像的所述对应控制输入是转向角。在一些实施例中，每组图像的所述对应控制输入是转向角、加速度输入和制动输入中的至少一者。

在一些实施例中，所述图像预测器、所述鉴别器和所述控制发生器均是深度神经网络模型。在一些实施例中，所述图像预测器、所述鉴别器和所述控制发生器均是卷积神经网络模型。

在本发明的另一方面，一种系统包括一个或多个处理装置以及可操作地耦接到所述一个或多个处理装置的一个或多个存储器装置，所述一个或多个存储器装置存储可执行代码，所述可执行代码有效地致使所述一个或多个处理装置：将多组图像以及每组图像的对应控制输入输入到图像预测器；将所述多组图像和每组图像的来自所述图像预测器的预测图像输入到鉴别器中；并且根据所述多组图像、每个组的所述对应控制输入以及每个组的来自所述鉴别器的输出进一步训练控制发生器。

在一些实施例中，所述一组图像是来自安装到车辆的摄像机的输出的一组连续图像。

在一些实施例中，每个组的来自所述鉴别器的所述输出是两个值中的一个，所述两个值中的第一个指示积极结果，而所述两个值中的第二个指示消极结果。

在一些实施例中，每组图像的所述对应控制输入是转向角。在一些实施例中，每组图像的所述对应控制输入是转向角、加速度输入和制动输入中的至少一者。

在一些实施例中，所述图像预测器、所述鉴别器和所述控制发生器均是深度神经网络模型。在一些实施例中，所述图像预测器、所述鉴别器和所述控制发生器均是卷积神经网络模型。