[发明专利]使用深度视频帧预测来训练自主车辆的控制器

权利要求书

1.一种方法，其包括由计算装置：

将多组图像以及每组图像的对应控制输入输入到图像预测器；

将所述多组图像以及每组图像的来自所述图像预测器的预测图像输入到鉴别器中；以及

根据每个组的来自所述鉴别器的输出进一步训练控制发生器。

2.如权利要求1所述的方法，其中所述一组图像是来自安装到车辆的摄像机的输出的一组连续图像。

3.如权利要求1所述的方法，其中每个组的来自所述鉴别器的所述输出是两个值中的一个，所述两个值中的第一个指示积极结果，而所述两个值中的第二个指示消极结果。

4.如权利要求1所述的方法，其中每组图像的所述对应控制输入是转向角。

5.如权利要求1所述的方法，其中每组图像的所述对应控制输入是转向角、加速度输入和制动输入中的至少一者。

6.如权利要求1所述的方法，其中所述图像预测器、所述鉴别器和所述控制发生器均是深度神经网络模型。

7.如权利要求1所述的方法，其中所述图像预测器、所述鉴别器和所述控制发生器均是卷积神经网络模型。

8.一种系统，其包括一个或多个处理装置和可操作地耦接到所述一个或多个处理装置的一个或多个存储器装置，所述一个或多个存储器装置存储可执行代码，所述可执行代码有效地致使所述一个或多个处理装置：

将多组图像以及每组图像的对应控制输入输入到图像预测器，每组图像是来自安装到车辆的摄像机的输出的一组连续图像；

将所述多组图像以及每组图像的来自所述图像预测器的预测图像输入到鉴别器中；并且

根据所述多组图像、每个组的所述对应控制输入和每个组的来自所述鉴别器的输出进一步训练控制发生器；

其中所述图像预测器、所述鉴别器和所述控制发生器均是卷积神经网络模型。

9.如权利要求8所述的系统，其中每个组的来自所述鉴别器的所述输出是两个值中的一个，所述两个值中的第一个指示积极结果，而所述两个值中的第二个指示消极结果。

10.如权利要求8所述的系统，其中每组图像的所述对应控制输入是转向角、加速度输入和制动输入中的至少一者。

11.一种方法，其包括由计算装置：

从安装到第一车辆的第一摄像机接收第一图像流，所述第一图像流在第一时间段捕获；

接收用于所述车辆的第一控制输入流，所述第一控制输入流在所述第一时间段期间捕获；

生成第一训练数据组，每个训练数据组包括

来自所述第一图像流的N个连续图像，其中N是大于一的整数，

来自在时间上对应于所述第一图像流的所述第一控制输入流的一个或多个控制输入，以及

紧跟在所述每个训练数据组的所述第一图像流中的所述N个连续图像之后的图像；

使用所述第一训练数据组来训练图像预测器；

生成第二训练数据组，每个训练数据组包括

来自第二图像流的P个连续图像，其中P处于等于和不等于N中的一种情况，所述第二图像流与所述第一图像流相同或不同，

处于以下情况中的一种情况的图像：(a)不是紧跟在所述每个训练数据组的所述第二图像流中的所述N个连续图像之后的图像，和(b)是紧跟在所述每个训练数据组的所述第二图像流中的所述P个连续图像之后的图像；以及

如果(a)为真则为第一值而如果(b)为真则为第二值的期望输出；以及

根据所述第二训练数据组训练图像鉴别器；以及

使用所述图像鉴别器的输出来训练控制发生器。