[发明专利]图像重照明

说明书

本公开提供“图像重照明”。一种计算机包括处理器和存储器，所述存储器存储可由处理器执行以进行以下操作的指令：接收环境在第一照明条件下的多个第一图像，将所述第一图像的像素分类成类别，从所述第一图像掩蔽属于所述类别中的至少一者的所述像素，基于经掩蔽的第一图像生成所述环境的三维表示，并且基于所述三维表示并基于所述第一图像中的第一个图像生成环境在第二照明条件下的第二图像。

技术领域

本公开涉及车辆中的图像重照明。

背景技术

图像可以由传感器获取并使用计算机进行处理以确定关于系统周围环境中的对象的数据。感测系统的操作可以包括获取关于系统环境中的对象的准确且及时的数据。计算机可以从一个或多个图像传感器获取图像，所述图像可以被处理以确定对象的位置。计算机可以使用从图像中提取的对象位置数据来操作系统，包括车辆、机器人、安全和对象跟踪系统。机器学习算法可以在车辆上用于操作高级驾驶员辅助系统(ADAS)或基于在例如在车辆行驶时由车辆上的相机拍摄的图像中检测到对象来执行自主操作。

发明内容

本公开提供了用于使用环境在第一照明条件下的第一图像来生成环境在第二照明条件下的第二图像的技术。照明条件可以包括例如光线方向，例如日照角。第二图像可以是来自与第一图像中的一个的视角相同的视角的相同环境，但是具有来自不同照明条件的不同阴影。出于本公开的目的，图像的视角被定义为捕获该图像的相机的视点，或者对于人工生成的图像，被定义为将捕获该图像的假设相机的视点。例如，第一图像(即，自然图像)可以是上午9:00从沿道路行驶的车辆拍摄的包括所述道路的环境，并且本文的技术可以生成来自与第一图像的视角相同的视角的相同环境的第二图像(即，人工图像)，就像在中午12:00、下午3:00和下午6:00拍摄的一样。因为第二图像是人工生成的，所以车辆不需要在稍后的时间重新行驶该道路。具有环境在各种照明条件下的图像的数据集对于训练用于诸如可能取决于解释阴影的对象识别的任务的机器学习算法可能是有用的。

具体地，计算机可以被编程为接收环境在第一照明条件下的多个第一图像，将所述第一图像的像素分类成类别，从所述第一图像掩蔽属于所述类别中的至少一者的所述像素，基于经掩蔽的第一图像生成所述环境的三维表示，并且基于所述三维表示并基于所述第一图像中的第一个图像生成环境在第二照明条件下的第二图像。所述多个第一图像都可以沿着道路拍摄。计算机不需要围绕环境360°拍摄第一图像来生成三维表示。即使在许多非车辆背景下收集围绕环境的多个视图可为可行的，使用车辆上的相机收集围绕环境的视图也可能是困难的，因为收集那些视图将通常需要车辆离开道路。本文的技术避免了与收集广泛不同的视图相关的困难。

一种计算机包括处理器和存储器，所述存储器存储可由处理器执行以进行以下操作的指令：接收环境在第一照明条件下的多个第一图像，将所述第一图像的像素分类成类别，从所述第一图像掩蔽属于所述类别中的至少一者的所述像素，基于经掩蔽的第一图像生成所述环境的三维表示，并且基于所述三维表示并基于所述第一图像中的第一个图像生成环境在第二照明条件下的第二图像。

所述第二图像和所述第一图像中的所述第一个图像可具有所述环境的相同视角。

所述指令还可包括用于基于所述三维表示并基于所述第一图像生成包括所述第二图像的多个第二图像的指令，所述第二图像处于所述第二照明条件。每个第二图像可与所述第一图像中的相应的第一图像具有所述环境的相同视角。

所述类别中的至少一者可以包括天空。

所述第一图像可以是在沿着通过所述环境的路径的一系列点处的所述环境。所述路径可以沿着所述环境的道路延伸。

所述三维表示可以是网格。生成所述网格可包括基于所述经掩蔽的第一图像生成点云并基于所述点云生成所述网格。生成所述点云可包括执行第一机器学习算法，并且所述经掩蔽的第一图像可为所述第一机器学习算法的输入。