[发明专利]基于自标注训练样本的三维目标检测方法、系统及装置

说明书

本发明属于计算机视觉、模式识别和机器学习领域，具体涉及了一种基于自标注训练样本的三维目标检测方法、系统及装置，旨在解决真实带标签数据获取难度大、代价高，而虚拟数据训练的模型无法适应真实场景的问题。本发明包括：通过训练好的模型进行输入图像序列的三维目标检测，其中，模型训练方法包括：向CARLA模拟器中嵌入高质量的模型；通过基于激光雷达引导的采样算法对CARLA模拟器生成的点云数据样本进行增强；以三维目标检测器VoxelNet为基础，通过引入体素级别和锚点级别的领域自适应模块进行领域偏移的对齐，并且增加一致性约束来搭建领域自适应的三维目标检测器DA‑VoxelNet。本发明使得由虚拟数据训练的三维目标检测模型能够适应真实场景，检测效果好、精度高。

技术领域

本发明属于计算机视觉、模式识别和机器学习领域，具体涉及了一种基于自标注训练样本的三维目标检测方法、系统及装置。

背景技术

三维目标检测可以提供更为详细的空间信息和语义信息，即目标类别和目标在三维空间中的位置、朝向、所占空间体积等，近年来受到越来越多的关注。通常，三维目标检测需要大量的带高质量标签的数据来训练模型。而在计算机视觉领域中，收集充分的人工标注数据的代价非常昂贵，加上三维目标检测需要的标注信息更加复杂化和专业化，数据标注成本相比分类和图像目标检测等任务更高，因此极大地阻碍了三维目标检测的发展。

幸运的是，计算机图形技术为我们解决三维目标检测算法的发展被人工标注数据限制这一问题提供了可能。随着计算机图形技术的不断发展，由计算机合成的虚拟数据越来越多地被用来弥补标注数据的不足，并应用在很多计算机视觉任务中，包括：光流估计，语义分割，视频分析，立体视觉和导航。计算机中的模拟器可以生成自带详细标注的数据，其成本只有对模拟器建模的开销，并且是一次性的——一旦模拟器组建完成，就可以源源不断的生成我们所需要的自标注训练样本。这一点非常重要。因为，利用模拟器自动生成的标注更加可靠和精准，而人工标注却不可避免地出现一些疏漏，比如，标记不合适的目标外包框。这种疏漏在点云数据中显得尤为突出，因为在点云数据中，一个目标面向激光雷达的表面会被表示为一个稀疏的点集，而背向激光雷达的表面是没有任何点来表示的，特别是相对于激光雷达具有一定距离的目标，其不可知的表面所占的比例更大，以至于点云数据的标注人员只能通过直觉去标记目标的3D外包框。但是，这种依靠直觉标记的3D外包框通常是不准确的，甚至会出现比较大的误差。此外，虚拟数据和模拟器可以很大程度上减小使用现实世界中的数据时经常难以消除的偏差。因为我们在现实世界中遇到的实际场景往往是不可控制的，这将导致模型在实际应用场景中获取的图像数据在质量、光照、背景、物体外观、观察角度等方面发生很大的变化，模拟器及其生成的自标注训练样本有助于提高训练集数据的多样性，并且能够完全覆盖真实场景的所有情况，从而减小因场景变化而带来的数据偏差。

通过模拟器获取模型训练数据，可以大大降低模型对真实带标签数据的依赖，然而，这种方法也不可避免地带来了模型从虚拟数据到真实场景的鸿沟，使得由虚拟数据训练的三维目标检测模型无法适应真实场景。

发明内容

为了解决现有技术中的上述问题，即真实带标签数据获取难度大、代价高，而虚拟数据训练的模型无法适应真实场景的问题，本发明提供了一种基于自标注训练样本的三维目标检测方法，该三维目标检测方法包括：

通过第一模型进行输入图像序列的三维目标检测，获得目标类别和目标在三维空间中的位置、朝向和所占空间体积；

其中，所述第一模型为基于虚拟样本数据和真实样本数据共同训练的三维目标检测模型，其训练方法为：

步骤S10，将所述三维目标检测模型嵌入CARLA模拟器，并通过所述CARLA模拟器生成虚拟样本数据；所述虚拟样本数据包括CARLA模拟器中的深度传感器和激光雷达得到的深度图像和点云数据；