[发明专利]倒车影像3D场景重构方法和系统

权利要求书

1.一种倒车影像3D场景重构方法，具有如下步骤：

S100.使用车辆后部摄像头采集车辆后部的连续多帧图像，提取每一帧图像的特征点；

S200.对相邻两帧图像中的特征点进行跟踪匹配；

S300.对匹配成功的一对特征点，使用外极几何原理推算所述两特征点的对应点在空间中的坐标；遍历所述两帧图像中所有匹配成功的特征点，得到每对特征点对应的空间点的坐标，得到两视图无绝对尺度的3D重构影像；

S400.重复步骤S100-S300完成对所述连续多帧图像的无绝对尺度的3D重构，形成车辆后方一定空间内场景结构的3D重构。

2.根据权利要求1所述的一种倒车影像3D场景重构方法，其特征还在于具有步骤

S500.使用惯性测量单元和数字罗盘获取所述摄像头在每一个时刻的位置、速度、加速度、角速度和方向信息，使用扩展卡尔曼滤波算法对所述的加速度、角速度和方向信息进行融合，计算真实世界和视觉世界比例因子S_k；

将所述步骤S300和S400中所述的重构成功的特征点除以所述比例因子S_k，得到带有真实空间比例的3D重构影像。

3.根据权利要求2所述的一种倒车影像3D场景重构方法，其特征还在于：所述步骤S500具体包括：

设定状态向量x_k由摄像头的位置坐标p_ec,k、速度v_ec,k、加速度a_ec,k、角速度ω_ec,k、比例因子s_k、摄像头方向q_e,k、加速度传感器偏移b_a,k和陀螺仪偏移b_w,k组成：

x_k＝{p_ec,k,v_ec,k,a_ec,k,ω_ec,k,s_k,q_e,k,b_a,k,b_ω,k}

所述摄像头方向qe,k由四元组{q_e0,k,q_ex,k,q_ey,k,q_ez,k}组成；

摄像头的运动状态估算是根据带输入噪音的加速度、角速度和实际测量结果z_k。其过程可表示为：

x_k＝f(x_k-1,u_k-1,n_k-1)

z_k＝hx_k+m_k

假设摄像头的运动是一个随机过程，则其中uk-1为控制器向量输入为0，随机噪音n_k和m_k符合：

p(n)～N(0,Q)、p(m)～N(0,R)

假设摄像头在从k-1到k的变换过程中，具有匀加速度和匀角速度，且经历时间为T，则动态模型可以表示为：

pec,k=pec,k-1+Tsk-1vec,k-1+T22sk-1aec,k-1]]>

v_ec,k＝v_ec,k-1+Ta_ec,k-1

aec,k=aec,k-1+nk-1a]]>

ωec,k=ωec,k-1+nk-1ω]]>

se,k=se,k-1+nk-1s]]>

qe,k=exp(ωe,k-1T)⊗qe,k-1]]>

ba,k=ba,k-1+nk-1ab]]>

bω,k=bω,k-1+bk-1ωb]]>

其中定义为四元数乘法，exp(ωT)为三轴的旋转矩阵，其定义为：

exp(ωT)=[cos||ω||T2,sin||ω||T2ωT||ω||]T]]>

||ω||=(ωx)2+(ωy)2+(ωz)2]]>

为随机噪音。