[发明专利]使用一个或更多个神经网络来生成神经模拟的帧

权利要求书

1.一种处理器，包括：一个或更多个电路，用于使用来自一个或更多个训练图像的空间无关信息来训练一个或更多个神经网络，以生成一个或更多个图像。

2.根据权利要求1所述的处理器，其中所述一个或更多个电路进一步用于将所述一个或更多个训练图像分离成所述空间无关信息和空间相关信息，并使用所述空间无关信息和所述空间相关信息来训练所述一个或更多个神经网络。

3.根据权利要求2所述的处理器，其中所述一个或更多个训练图像包括视频的帧，并且其中所述一个或更多个神经网络被训练以基于模拟的先前生成的帧和包括响应于所述模拟的一个或更多个先前帧而执行的一个或更多个动作的输入来生成所述模拟的帧，其中所述模拟的帧包括所述一个或更多个图像。

4.根据权利要求3所述的处理器，其中所述一个或更多个电路用于基于所述视频的帧的所述空间无关信息和所述空间相关信息来确定在所述视频帧之间执行的一个或更多个动作，并且进一步用于使用所述一个或更多个动作来训练所述一个或更多个神经网络。

5.根据权利要求4所述的处理器，其中所述视频包括汽车驾驶视频，其中所述模拟包括驾驶模拟，并且其中所述一个或更多个动作包括加速、减速、左转或右转中的至少一个。

6.根据权利要求2所述的处理器，其中所述一个或更多个神经网络被训练以基于空间无关输入和空间相关输入来生成模拟的帧。

7.根据权利要求1所述的处理器，其中为了训练所述一个或更多个神经网络，所述处理器：执行第一训练阶段以训练所述一个或更多个神经网络中的神经网络的第一子集，以生成用于一个或更多个模拟图像的合成的空间无关信息和合成的空间相关信息；以及执行第二训练阶段以训练所述一个或更多个神经网络中的神经网络的第二子集，以使用所述合成的空间无关信息、所述合成的空间相关信息和一个或更多个输入动作来生成所述一个或更多个图像。

8.根据权利要求7所述的处理器，其中为了执行所述第一训练阶段，所述处理器：

训练所述神经网络的第一子集中的第一神经网络，以将与所述一个或更多个训练图像中的训练图像相关联的潜在空间分离成与所述训练图像的所述空间相关信息相对应的空间相关的潜在空间和与所述训练图像的所述空间无关信息相对应的空间无关的潜在空间；以及

训练所述神经网络的第一子集中的第二神经网络，以使用所述空间相关的潜在空间和所述空间无关的潜在空间作为所述第二神经网络的输入来生成所述训练图像的副本。

9.根据权利要求7所述的处理器，其中为了执行所述第二训练阶段，所述处理器：

使用与所述一个或更多个训练图像中的训练图像相关联的第一空间相关的潜在空间、与所述训练图像相关联的第一空间无关的潜在空间和在所述训练图像上执行以训练所述神经网络的第二子集中的第一神经网络的动作来训练所述第一神经网络，以生成与所述一个或更多个训练图像的后续训练图像相关联的第二空间相关的潜在空间和与所述后续训练图像相关联的第二空间无关的潜在空间。

10.根据权利要求9所述的处理器，其中所述处理器还用于：

将与所述训练图像相关联的所述第一空间相关的潜在空间分离为所述训练图像的动作相关特征和所述图像的动作无关特征；以及

训练所述第一神经网络，以使用所述动作相关特征、所述动作无关特征、所述第一空间无关的潜在空间和所述动作来生成所述第二空间相关的潜在空间和所述第二空间无关的潜在空间。

11.一种处理器，包括：一个或更多个电路，用于使用一个或更多个神经网络至少部分地基于一个或更多个图像内的一个或更多个空间无关特征来生成所述一个或更多个图像。