[发明专利]多个彼此相对运动的刚性对象的检测、三维重建和跟踪

说明书

本发明涉及一种用于从至少一台摄像机的图像序列中检测、三维重建以及跟踪多个彼此相对运动的刚性对象(11、13、15、16、17；19)的方法和系统，并尤其能够在基于摄像机的环境检测系统范围内用于辅助驾驶或自动驾驶。所述(计算机实施)方法包括下列步骤：a)从至少一台摄像机的图像序列中选择出特定拍摄时间点(＝关键循环)的图像，b)基于关键循环中稀疏选择的像素，根据关键循环的图像，对用于描述刚性对象(11、13、15、16、17；19)的模型的所有参数进行联合优化，其中，模型包括用于描述关键循环中刚性对象(11、13、15、16、17；19)的姿势、数量、三维结构的参数，以及用于描述所选像素与刚性对象(11、13、15、16、17；19)的对应关系的参数，为此，c)使误差函数最小化(S20)，其中，误差函数包括与多个关键循环的图像的强度相关的光度测量误差E_photo，以及与刚性对象(11、13、15、16、17；19)的数量相关的第一先验能量项E_comp，以及，d)输出从图像序列中检测到的刚性对象(11、13、15、16、17；19)的数量、三维结构和轨迹。虽然基于多个时间点的图像数据对所有参数进行了联合优化，但该方法适合用于(在线)数据采集期间的同时使用。

本发明涉及一种从至少一台摄像机的图像序列中对多个彼此相对运动的刚性对象进行检测、三维重建以及跟踪的方法和装置，尤其可以在基于摄像机的环境检测系统框架中用于辅助驾驶或自动驾驶。

用于从(单一)摄像机的图像数据中检测、三维重建和跟踪对象的下列方法是已知的：

运动重构(SFM)：

从视频数据中提取三维结构的常用方式使用的是间接方法：作为预处理步骤，识别多个摄像机图像的图像对应关系。只有在后续步骤中才对极线几何、三维结构以及摄像机相对运动的确定进行检测。术语间接方法描述了先计算光流，然后从光流(运动重构(SFM))计算三维结构的两个阶段。

光束法平差：

光束法平差(德语：)用于借助多幅图像优化结构参数和运动参数。例如反投影误差等点或线对应中的几何误差被最小化。

光度测量的光束法平差：

光度测量的光束法平差(德语：Photometrischer)基于概率光度测量误差模型借助图像强度和图像梯度对结构和运动进行优化：

Alismail(阿里斯迈)等人2016年8月5日在arXiv上发表的、编号为1608.02026v1[cs.CV]的文章(Alismail et al.,Photometric Bündle Adjustment for Vision-BasedSLAM,arXiv:1608.02026v1[cs.CV],5.August 2016)”。

光度测量的光束法平差应用于单个对象问题(例如移动摄像机+刚性、静止的环境)，这与视觉里程计(VO)或自定位和映射(SLAM)的问题相对应。

Engel(恩格尔)等人2016年10月7日在arXiv上发表的、编号为1607.02565v2[cs.CV]的直接稀疏里程计(DSO)(Alismail et al.,Photometric Bündle Adjustmentfor Vision-Based SLAM,arXiv:1608.02026v1[cs.CV],5.August 2016)是一种将直接概率模型(光度测量误差最小化)与所有模型参数一致的联合优化相结合的方法，包括将结构几何形状作为参考图像中点的反深度、摄像机轨迹以及每幅图像的仿射传感器特征曲线、焦距和主点。借助直接三维图像对齐/图像配准的追踪和光度测量的光束法平差用于实现视觉里程计，其中，假设的是静态场景。对一次性初始化，基于两台摄像机图像使用从粗到细的光束法平差。DSO不使用关键点对应，而是使用单一摄像机或立体摄像机系统。

带有多个对象的SFM：