[发明专利]倒车影像3D场景重构方法和系统

说明书

技术领域

本发明涉及一种G06计算；推算；计数G06T一般的图像数据处理或产生G06T15/003D［三维］图像的加工。

背景技术

近年来，随着汽车保有量的增长，交通事故的数量也逐年递增。统计数据表明，在中国由于车辆后方盲区所导致的交通事故所占比例已达30%，在美国这一比例也高达20%。针对这一问题，近些年诞生了很多种倒车辅助装置用以帮助驾驶员判断车辆后方的环境，防止与车辆后方的人员、物体发生刮蹭、碰撞。目前，倒车辅助装置主要分为两种技术路线。一种是基于超声波测距技术的倒车雷达装置；另一种是基于图像传感器技术的倒车影像装置。

倒车雷达装置一般在汽车尾部后保险杠上安装若干对超声波发射器和接收探头，当倒车时，超声波发射器发射的超声波遇到障碍物时产生回波，再由响应的接受探头对回波进行捕获，经控制器处理，计算出障碍物与车尾的距离。当测量到的障碍物与车尾距离过近时，倒车雷达系统向驾驶员发出报警信息。一般单个超声波探头覆盖范围约为45度，误差在5厘米左右。受空间和成本约束，目前的倒车雷达系统通常采用2至4对探头的安装方案。安装倒车雷达装置后，驾驶员能够对车辆后方盲区内的障碍物进行粗略的方位和距离上的判断。受探头测量精度和覆盖范围的限制，倒车雷达装置存在较大的检测盲区，对于高度较低和距离车辆尾部较近的障碍物，如石块、沟壑、儿童等，倒车雷达可能无法发现和报警。驾驶员过度依赖于倒车雷达装置，经常导致事故的发生。

倒车影像装置是通过摄像头拍摄车辆后方的环境，并实时显示在车载显示单元上。部分倒车影像产品会在显示单元上显示出预计的倒车路径，以帮助驾驶员观察在倒车路径上是否存在障碍物。单个摄像头构成的倒车影像装置虽然覆盖面广、效果直观，但也存在较大的局限性，一方面受镜头视角、光学畸变、透视效应等影像，倒车影像显示与真实场景相比存在一定失真，可能导致驾驶员误判断；另一方面，倒车影像显示的仅仅是2D的平面图像，驾驶员难以从中获得真实的距离感，对于障碍物的高度也难以做出准确的判断。

发明内容

本发明针对以上问题的提出，而研制的一种倒车影像3D场景重构方法，具有如下步骤：

S100.采集车辆后部的连续多帧图像，提取每一帧图像的特征点；

S200.对相邻两帧图像中的特征点进行跟踪匹配；

S300.对匹配成功的特征点，使用外极几何原理推算所述两特征点的对应点在空间中的坐标；得到两视图无绝对尺度的3D重构影像；

S400.重复步骤S100-S300完成对所述连续多帧图像的无绝对尺度的3D重构，从而形成车辆后方一定空间内场景结构的3D重构。

还具有步骤S500.采用惯性测量单元（IMU）和数字罗盘输出的加速度、角速度、方向信息，进行真实环境尺度的估算。并应用扩展卡尔曼滤波（EKF）对多传感器数据进行融合。状态向量x_k由摄像头的位置坐标p_ec,k、速度v_ec,k、加速度a_ec,k、角速度ω_ec,k、比例因子s_k、摄像头方向q_e,k、加速度传感器偏移b_a,k和陀螺仪偏移b_w,k组成：

x_k＝{p_ec,k,v_ec,k,a_ec,k,ω_ec,k,s_k,q_e,k,b_a,k,b_ω,k}

真实世界和视觉世界比例因子由s_k表示，它在每个状态都会被重新评估。摄像头方向q_e,k由四元组{q_e0,k,q_ex,k,q_ey,k,q_ez,k}组成。

摄像头的运动状态估算是根据带输入噪音的加速度、角速度和实际测量结果z_k。其过程可表示为：

x_k＝f(x_k-1,u_k-1,n_k-1)

z_k＝hx_k+m_k