[发明专利]一种城市环境中的混合相机标定方法

摘要

城市环境中的混合相机标定方法，能够结合高精度GPS、陀螺仪数据和计算机视觉跟踪算法，实现复杂环境下的实时城市建筑跟踪，包括以下步骤：首先，对于第一帧进行手动标定，获取相机的外参矩阵；其次，对于接下来的每一帧，先采用计算机视觉算法进行目标跟踪，如果算法误差小于给定阈值，则下一帧依旧采用计算机视觉跟踪算法；如果算法误差超过给定阈值，则采用GPS、陀螺仪数据求取相机外参，实现当前帧下的目标跟踪，而下一帧依旧采用计算机视觉跟踪算法。通过在计算机视觉跟踪算法和高精度GPS、陀螺仪数据跟踪方法之间的不断循环，实时跟踪视频中的每一帧直到跟踪结束。

主权项

1.一种城市环境中的混合相机标定方法，包括以下步骤：步骤1、对于第一帧通过手动进行标定，具体包括：需要提供相机的内参矩阵K，其形式如下所示：其中f_x和f_y分别是相机水平方向和竖直方向的焦距，u₀和v₀是水平方向和竖直方向的主点偏移；然后通过鼠标交互获取指定的四个3D点在图像上的2D点位置，然后根据OpenCV视觉计算库的CV::solvePnP函数求出第一帧的外参矩阵[R|t]，其中R为相机的旋转矩阵，t为相机的位移向量；得到外参矩阵后，将三维模型的每一条边L_i的两个端点P_i、P_j按照以下公式：m_i＝K[R|t]P_i投影到二维图像上的二维点m_i、m_j，这样就得到了二维图像上的线条l_i，然后将每一个二维线条绘制在图像上，完成初始化操作；其中K是相机内部参数；步骤2、对于后续每一帧：通过计算机视觉算法进行跟踪，如果跟踪失败，则转到步骤3，具体包括：根据前一帧的投影矩阵，将三维模型投影到图像上，然后在二维图像上的线条上采样二维点S_i,并找出这些采样点的法线，接着沿着法线方向寻找与采样点颜色梯度明显变化的像素点作为对应点C_i；当在所有的二维线条上都采样完二维点，并且每一个采样点都寻找完对应点后，采用非线性最小二乘算法求出当前帧的外参矩阵，并计算和判断误差大小，如果误差小于给定阈值，就根据新得到的外参矩阵将三维模型投影到二维平面；如果误差大于给定的阈值，则转到步骤3；步骤3、获取当前帧下的GPS和陀螺仪数据，就算出外参矩阵并跟踪目标，然后转步骤2，具体包括：获取通过GPS得到的平移向量，获取陀螺仪得到的旋转向量，然后根据平移向量和旋转向量，利用OpenCV视觉计算库的CV::Rodrigues函数求出当前帧下的外参矩阵，将模型投影到二维图像上；然后转步骤2。