[发明专利]一种基于多模态传感器数据自动获取车辆训练样本方法

说明书

技术领域

本发明涉及计算机视觉、机器人以及机器学习技术领域，尤其涉及一种基于多模态传感器数据自动获取车辆训练样本方法。

背景技术

车辆检测是汽车安全辅助驾驶（ADAS）领域的一个重要问题。在车辆检测领域已经有了大量的相关研究，研究证明，使用激光、雷达、单目/立体相机以及多传感器融合均能对车辆进行检测。

由于单目相机成本低，而且标定问题简单，基于单目视觉的检测方法在计算机视觉以及机器人领域有广泛的研究。使用视觉传感器时，车辆的本身表观以及车辆在不同角度的表观有很大不同，给检测带来很大的困难。近期越来越多的研究人员尝试使用机器学习的方法检测车辆。

这些方法中，检测器是预先使用一系列的样本图片训练出来的。有很多的数据集开放用于训练检测器。PASCAL提供了很多标准化的数据集用于物体检测。

其中UIUC数据集是专门用于车辆检测识别的数据集，包括550张分辨率为100×40的车辆图片作为训练正样本，而且包含两个测试集：170张和训练正样本相同分辨率的均一尺度的车辆，和108张包含139辆多尺度车辆的图片。

很多研究中都使用此数据集来说明研究结果。然而，UIUC数据集中的车辆全部为侧面视角的图像，在道路车辆检测中，所检测的车辆多数为前面或者后面的视角，所以此数据集并不适用。

另外一个缺点是UIUC数据集中图片均为黑白图片，使用此数据集对检测器的特征空间有很大限制。与UIUC数据集不同，MIT的数据集包括516张正样本图片，分辨率为128×128，全部为前方或者后方的视角。

对现在表现良好的方法，训练样本是影响其表现的重要因素。为了研究建立多视角的车辆检测器，USC的研究人员建立了多视角的车辆样本图像以及测试图像的数据集。数据集包括1028张分辨率为128×64的来自各个角度的车辆正样本图像，并且有196张测试图像工包含410个不同尺度不同角度的车辆。

然而，此数据集中所有的样本均不包含车辆的位姿信息，通常训练数据根据训练需求需要手工进行标注分类，这对样本的数量、表现都有很大限制。这成为限制算法发展的一个瓶颈。检测器的表现，对环境的变化通常缺乏稳定性。

发明内容

本发明的目的在于提供一种基于多模态传感器数据自动获取车辆训练样本方法，涉及一个自动生成多角度车辆样本图像并且包含位姿信息的方法。

本发明公开了一种基于多模态传感器数据自动获取车辆训练样本方法，包括以下步骤：

基于激光、定位数据的车辆检测步骤：根据激光数据的距离、角度和激光传感器标定参数，得到相对于数据采集车辆的二维坐标，以描述物体水平的轮廓信息；通过形状的分析，以及移动物体的检测追踪，提取出候选车辆相对于数据采集车辆的位置方向等参数的时序列；

视觉图像样本提取步骤：根据候选车辆在每一时刻的位置方向，根据激光传感器和图像采集设备之间的几何关系，将该候选车辆投射到图像中，产生感兴趣区域，并使用检测器来修正感兴趣区域，对每一辆候选车辆，根据其位置方向等参数计算该候选车辆相对于摄像机的相对视角，去除视角相近的图像帧样本，自动地提取该候选车辆在不同视角下的样本图片。

进一步，作为一种优选，所述基于激光、定位数据的车辆检测步骤进一步包括：

数据融合：将来自于各个激光传感器的相同或者临近时间的数据融合；

聚类：将来自于各个激光传感器的数据，根据相邻两点间的距离，进行聚类；

标注：将聚类区分为静止物体、移动物体或者不确定三种类型；

地图生成：生成描述数据采集车辆移动轨迹周围静态环境的地图；

检测：在当前的进行分类后的激光融合数据中找到候选车辆；

追踪：关联检测结果和之前的追踪结果，更新追踪状态和车体、运动参数；

验证：通过追踪物体的运动和形状信息来对其进行验证。

进一步，作为一种优选，所述视觉图像样本提取步骤进一步包括：

基于激光数据的感兴趣区域提取：根据候选车辆在每一时刻的位置方向，根据激光传感器和图像采集设备之间的几何关系，将该候选车辆投射到图像中，提取包含候选车辆的感兴趣区域；

基于图像技术的感兴趣区域修正：使用基于图像的检测方法，对感兴趣区域进行修正，找到其中的候选车辆；

车辆样本图像提取和去重：根据修正结果，去除视角相近的图像帧样本，自动地提取候选车辆在不同视角下的样本图片。