[发明专利]用于自动标记雷达数据的方法和系统

说明书

自动标记传感器数据的方法，车辆包括雷达探测手段、摄像机和激光雷达，各视场在重叠区域中至少部分重叠，提供一组雷达点、一组图像数据和一组激光雷达数据，自动为各雷达点指派可信度标记，方式是：校正图像数据，在摄像机和激光雷达的视场重叠区域中借助激光雷达数据校准基于摄像机的、由神经网络生成的深度估计，借此根据二维图像信息计算三维点云表现形式，用k近邻算法将三维点云表现形式与雷达点关联且将激光雷达数据与雷达点相关联以得出雷达/激光雷达可信度和雷达/摄像机可信度且将其合并为基于光学的可信度，借助用里程数据的跟踪为雷达点指派雷达/跟踪可信度，将其与基于光学的可信度组合且分配可信度标记。还提出实施该方法的系统。

技术领域

本发明涉及一种用于在车辆中自动对从雷达探测手段获得的雷达数据或雷达点进行标记的方法，该车辆至少以辅助方式具有自动驾驶特性或者还可以为开发这种特性被用作数据采集器。此外，还提出一种实施该方法的系统。

背景技术

标记(Labeling)或标注是对数据或动态和静态类型的、表示为数据的对象和环境特征作的记号。在机器学习中、尤其是监控型学习中，标记是分析例如从雷达中获得的原始数据的必要步骤。可设想的雷达信号的标注在此为探测结果所对应的可信度，以便从探测结果区分出伪影。雷达伪影可被理解为诸如测量噪声、多次反射和错误探测之类的效应。而具有高可信度的点表示例如车辆周围环境、诸如墙壁之类的建筑结构以及柱子和其他在交通环境中的限制物的可靠雷达反射。探测层面上的雷达数据只能以非常复杂、耗时和昂贵的方式手动标记为点云数据(例如每个测量周期有几百个点，而每个测量周期可能处于两位数的毫秒范围内)。手动操作在此为误差或不一致性提供了很大的空间。此外，不存在可以实现该目的的自动标记过程。

在文献DE 10 2017 203 344 A1中描述了相对于本车(Host-Fahrzeug)对长形对象进行的检测，其中通过多个对象检测装置对这些对象进行检测并且在检测数据中识别出对应于这些长形对象的图案。检测数据在此由已由多个对象检测装置中的至少两个对象检测装置合并而成的数据组成。

欧洲文献EP 3 293 669 A1公开了一种具有摄像机的对象识别系统，该摄像机提供的输出具有有关可能出现的对象的信息。处理器基于至少一个另外的探测器(非摄像机)的信息，来选择摄像机输出中可能包含该可能出现的对象的部分并且确定该部分的对象附着性。

在文献WO 2019/161300 A1中示出了一种方法，其中将来自至少一个传感器的视场的传感器数据馈送给第一神经网络并且将所得对象数据指派给具有所探测的对象的相应位置。至少部分基于这些相应位置，将所探测对象处的集群特性馈送至第二神经网络并且由此获得置信值，其中，该置信值表示该集群与周围环境中的对象对应的可能性。

发明内容

在此背景下，本发明的目的在于，提出一种在探测层面运行的方法，用于自动对直接从雷达探测手段获得的雷达点进行标记。此外，应提供一种能实施该方法的系统。

为了实现上述目的，提出一种用于自动对所观察的场景的传感器数据进行标记的方法，其中，车辆包括雷达探测手段和作为光学传感器的至少一个摄像机以及激光雷达(LiDAR)并且所观察的场景例如是车辆周围环境，其中，雷达探测手段、摄像机和激光雷达分别具有该车辆的周围环境的至少一部分作为视场并且相应的视场至少部分地在相应的重叠区域中重叠。在一时间步长序列中，针对每个时间步长t，由雷达探测手段提供一组本身三维的雷达点、由至少一个摄像机提供一组本身二维的图像数据并且由激光雷达提供一组本身三维的激光雷达数据。针对每个时间步长，自动为各个雷达点指派相应的可信度标记，其方式为：

·通过图像校正和随后的透视变换对所述图像数据进行校正，来实现场景的直视图；

·在摄像机和激光雷达的视场的重叠区域中，借助于激光雷达数据来校准基于摄像机的、通过神经网络生成的深度估计；

·借助于基于摄像机(并且考虑固有摄像机参数——例如焦距)的深度估计，根据二维图像信息来计算三维点云表现形式/点云表示