[发明专利]车辆神经网络

说明书

本公开提供了“车辆神经网络”。一种系统，其包括处理器和存储器，所述存储器包括可由所述处理器执行以进行以下操作的指令：基于多个真实世界图像来训练深度神经网络；基于通过所述深度神经网络识别在所述多个真实世界图像中的包括一个或多个对象类型的一个或多个物理特征来确定所述深度神经网络的准确度低于阈值；以及基于根据识别所述一个或多个物理特征确定所述深度神经网络的所述准确度低于阈值，使用真实感图像渲染软件程序和生成式对抗网络来生成多个合成图像。所述指令可以包括另外的指令：基于所述多个真实世界图像和所述多个合成图像重新训练所述深度神经网络以及输出所述重新训练的深度神经网络。

技术领域

本公开总体上涉及车辆神经网络。

背景技术

车辆可以配备有计算装置、网络、传感器和控制器以获取关于车辆的环境的数据并基于所述数据来操作车辆。车辆传感器可提供关于在车辆环境中要行驶的路线和要避开的对象的数据。车辆的操作可以依赖于在车辆正在道路上进行操作时获取关于车辆的环境中的对象的准确且及时的数据。

发明内容

车辆中的计算机可以被编程为获取关于车辆外部环境的数据并使用所述数据来以自主或半自主模式操作车辆。例如，可以训练深度神经网络以确定车辆挂车相对于车辆的角度。计算机可以使用角度数据来确定允许车辆后退并停放挂车的车辆路径。可以使用在多种环境条件下获取的输入传感器数据，针对多种挂车类型训练深度神经网络。此外，可以使用补充有合成数据的真实世界数据来训练深度神经网络，所述合成数据是使用真实感渲染软件和生成式对抗网络生成。可以分析经训练的深度神经网络的输出以确定对应于识别挂车结构失败的输入数据类型的分布。可以生成与对应于失败的输入数据类型的分布相对应的第二组合成图像，并且所述第二组合成图像用于重新训练深度神经网络。重新训练的深度神经网络可以被下载到车辆，并用于基于确定挂车角度来操作车辆。

训练深度神经网络可能需要大型训练数据集。训练图像数据中应包括对应于如下面关于图2所限定的在真实世界情形中将遇到的挂车的外观和环境条件的外观。将图像数据包括在预期挂车外观的每种可能组合的训练数据集中可能需要产生非常大、非常耗时且非常昂贵的训练数据集。产生用于训练神经网络的非常大的数据集可能需要许多小时的计算时间，并且需要提供大量的输入数据。训练数据集需要基准真相来伴随所获取的图像数据。基准真相被定义为关于通过除用于处理图像数据的算法之外的手段获取的图像的内容的数据。例如，基准真相可以是关于如下面关于图2所限定的挂车角度的数据，所述数据通过使人员通过在现实世界中测量挂车或使用摄影测量工具测量图像中的挂车角度来确定角度而获得。摄影测量工具是测量图像中的距离和角度的软件应用程序。

本文描述的技术通过从真实世界情形获取新的图像数据并处理新的图像数据以产生用于训练深度神经网络以确定挂车角度的新的训练数据集来改进深度神经网络的训练。以这种方式，原始训练数据集中未包括的挂车外观和环境条件可以由深度神经网络成功地处理，从而避免对非常大的训练数据集的需要。本文描述的技术训练神经网络，而无需收集训练数据集中包括的真实世界图像的集合，所述集合包括挂车外观、挂车角度和环境条件的每种可能组合。这通过减少所需的图像数量来减少训练神经网络所需的成本、时间和精力。本文讨论的技术减少了与获取训练数据集(包括产生对应的基准真相)相关联的时间和成本。