[发明专利]一种基于多模态传感器数据自动获取车辆训练样本方法

权利要求书

1.一种基于多模态传感器数据自动获取车辆训练样本方法，其特征在于，包括以下步骤：

基于激光、定位数据的车辆检测步骤：根据激光数据的距离、角度和激光传感器标定参数，得到相对于数据采集车辆的二维坐标，以描述物体水平的轮廓信息；通过形状的分析，以及移动物体的检测追踪，提取出候选车辆相对于数据采集车辆的位置方向等参数的时序列；

视觉图像样本提取步骤：根据候选车辆在每一时刻的位置方向，根据激光传感器和图像采集设备之间的几何关系，将该候选车辆投射到图像中，产生感兴趣区域，并使用检测器来修正感兴趣区域，对每一辆候选车辆，根据其位置方向等参数计算该候选车辆相对于摄像机的相对视角，去除视角相近的图像帧样本，自动地提取该候选车辆在不同视角下的样本图片。

2.根据权利要求1所述的一种基于多模态传感器数据自动获取车辆训练样本方法，其特征在于，所述基于激光、定位数据的车辆检测步骤进一步包括：

数据融合：将来自于各个激光扫描仪的相同或者临近时间的数据融合；

聚类：将来自于各个激光传感器的数据，根据相邻两点间的距离，进行聚类；

标注：将聚类区分为静止物体、移动物体或者不确定三种类型;

地图生成：生成描述数据采集车辆移动轨迹周围静态环境的地图；

检测：在当前的进行分类后的激光融合数据中找到候选车辆；

追踪：关联检测结果和之前的追踪结果，更新追踪状态和车体、运动参数；

验证：通过追踪物体的运动和形状信息来对其进行验证。

3.根据权利要求1所述的一种基于多模态传感器数据自动获取车辆训练样本方法，其特征在于，所述视觉图像样本提取步骤进一步包括：

基于激光数据的感兴趣区域提取：将激光数据追踪结果根据摄像头和激光的标定参数，投射到图像中，提取包含候选车辆的感兴趣区域；

基于图像技术的感兴趣区域修正：使用基于图像的检测方法，对感兴趣区域进行修正，找到其中的车辆；

车辆样本图像提取和去重：根据修正结果，去除同一车辆位姿相同或者相近的图像，经筛选得到车辆样本图像。

4.根据权利要求1所述的一种基于多模态传感器数据自动获取车辆训练样本方法，其特征在于，所述多模态传感器包括：多视角激光扫描仪、多视角摄像头和GPS/IMU定位系统；所述多视角激光扫描仪、多视角摄像头用来监测数据采集车辆四周环境，构成全方位的覆盖。

5.根据权利要求4所述的一种基于多模态传感器数据自动获取车辆训练样本方法，其特征在于，所述GPS/IMU用于测量车辆的6自由度的位姿。

6.根据权利要求1所述的一种基于多模态传感器数据自动获取车辆训练样本方法，其特征在于，所述检测器采用基于图像的检测方法。

7.根据权利要求2所述的一种基于多模态传感器数据自动获取车辆训练样本方法，其特征在于，所述追踪具体为：对于那些没有找到可关联追踪结果的检测结果，视为新的追踪车辆；而那些没有关联到检测结果的追踪车辆，则认为其消失在车辆的监测范围，从追踪结果中去除。

8.根据权利要求2所述的一种基于多模态传感器数据自动获取车辆训练样本方法，其特征在于，所述验证具体为：如果某追踪物体在一段时间内没有运动，则视为静止的并将其融入地图信息中；如果追踪物体的运动和形状信息在短时间内发生了不规律的变化，则去掉此结果；只有那些运动和形状正常变化的追踪结果才被视为候选车辆。

9.根据权利要求3所述的一种基于多模态传感器数据自动获取车辆训练样本方法，其特征在于，所述感兴趣区域的修正具体为：根据感兴趣区域中候选车辆的位姿，选择基于特定位姿车辆训练的检测器对其进行修正。

10.根据权利要求3所述的一种基于多模态传感器数据自动获取车辆训练样本方法，其特征在于，所述去除重复样本具体为：根据车辆相对于数据采集车辆的运动方向和车头朝向，对表观相同或相近的样本图像进行筛选。