[发明专利]在自动驾驶车辆中用于经由交叉模态验证的即时物体标记的方法和系统

说明书

本示教涉及自动驾驶车辆中的原位认知方法、系统、介质和实施方式。多种类型的传感器数据由配置在车辆上的多种类型的传感器连续不断地获取，其中，所述多种类型的传感器数据提供关于车辆周围情况的信息。基于一些模型，由所述多种类型传感器中的第一类型所获取的所述多种类型传感器数据中的第一类型，跟踪车辆周围的一个以上的项目。从所述多种类型传感器中的第二类型获得所述多种类型传感器数据中的第二类型，并将之用于生成验证基础数据。经由验证基础数据，对所述一个以上项目中的一些自动进行标记，以生成被标记的至少一些项目，被标记的所述至少一些项目被用于生成模型更新信息，用于对所述至少一个模型进行更新。

相关申请的交叉引用

本申请要求于2017年12月28日提交的美国专利申请15/856,215以及于2017年6月6日提交的美国专利申请15/615,284的优先权，并与于2017年12月28日提交的题为“METHODAND SYSTEM FOR ON-THE-FLY OBJECT LABELING VIA CROSS TEMPORAL VALIDATION INAUTONOMOUS DRIVING VEHICLES”且代理人案卷号为046277-0456590的美国专利申请有关，所有这些申请全文并入此处作为参考。

技术领域

本示教一般涉及计算机辅助的感知。具体而言，本示教涉及自适应的计算机辅助感知。

背景技术

随着近来在人工智能(AI)方面的技术发展，出现了在不同应用领域中应用AI的浪潮。这包括自动驾驶领域，在该领域中，识别并跟踪车辆周围的物体或障碍物至关重要。传统而言，在车辆四周安装传感器，以便持续地收集周边数据。接着，对收集的数据实时地进行分析，从而检测障碍物，以便控制车辆闪避这些障碍物。2D传感器和3D传感器都已经在这些应用中得到使用。例如，可安装照相机以收集2D图像，并对这些2D图像进行分析，以检测物体。又例如激光雷达(LiDAR)以及其他的3D传感器可用于收集3D深度数据，从而提供关于车辆与障碍物之间距离的信息。

传感器相当于是自动驾驶车辆的眼睛。但是，不同传感器有着不同的局限。例如，已经知道，2D照相机对照明条件非常敏感，比如一天当中不同的时间以及天气(诸如下雨或下雪)都会产生不同的影响。2D图像也不能提供深度测量。尽管距离能基于使用多个照相机的传统的立体视觉(stereo)来推算，这种推算在计算方面成本昂贵，且速度缓慢，经常不能用于生成足够的密度的深度图(depth map)。虽然例如激光雷达等的3D传感器已经用于获取深度信息以生成周边障碍物的点云，这种传感技术也具有范围有限、以及数据密度低等局限性。

除了传感器局限以外，当前，自动驾驶领域中的计算机辅助感知系统还有其他的缺点。例如，为了适应不同情况的动态(dynamics)，常常使用学习机制。然而，众所周知，在学习如何高效的生成有意义的适应用训练数据方面仍然存在瓶颈问题。传统而言，训练数据需要手动或者半手动地进行标记，这使得即时(on-the-fly)适应例如实时地进行自我校正非常困难、即使不是完全做不到。由于涉及手动工作，生成训练数据不仅太慢，而且成本非常的高。

另外，自动驾驶迄今为止仍停留在示范性展示阶段。许多研究和实施没有将涉及车队(可能是几千辆车以上)时所需配置的技术可扩展性(scalability)考虑在内。例如，几千辆车每天走在路上，频繁地收集反应许多不同动态的数据。这些数据提供丰富的信息源用于连续的适应调整。然而，由于传统方法不能即时地对这些数据加标记来产生有意义的训练数据，如何在车辆运行的同时进行适应仍是个未解决的问题。另外，考虑到车队能收集的数据的体量，如何基于几千辆车的经验进行适应仍是个未能解决的问题。

因此，存在这样的需求：提供一种用于自动驾驶中的计算机辅助感知系统的、改进的解决方案。

发明内容

这里公开的示教涉及用于在线服务的方法、系统和程序设计。具体而言，本示教涉及用于开发能与用户对话的虚拟代理的方法、系统和程序设计。