[发明专利]一种车载摄像机外参动态自标定方法

权利要求书

1.一种基于特定几何参照物约束的车载摄像机外参动态自标定方法，其特征在于，包括以下步骤：

在载体车辆上设置一正六边形黑白标定参照物，并使其位于摄像机所覆盖范围内；

首先利用张氏标定法对静态载体车辆上摄像机的参数进行标定，获得摄像机内参与初始外参，进而结合参照物中各标定参照点的三维世界坐标计算各标定参照点的初始三维摄像机坐标；

然后在摄像机工作过程中对动态变化的外参进行定时检测更新：每次更新外参时首先提取每次更新时刻下摄像机所拍摄视频的帧图像，利用Harris角点检测算法提取帧图像中各标定参照点的二维图像像素坐标，其次结合各标定参照点的几何特征计算该时刻各标定参照点的三维摄像机坐标，然后结合前一次更新时刻各标定参照点的三维摄像机坐标，计算用于描述摄像机偏转程度的旋转矩阵，最后再结合前一次更新时刻的摄像机外参，计算此时摄像机的旋转矩阵外参，从而完成一次对摄像机动态外参的更新；

获得摄像机内参与初始外参的具体过程如下：

摄像机内参及外参的初始静态标定：

针对静止状态下的载体车辆，应用张氏标定法对静态摄像机进行内参、外参的初始标定；内参包括：摄像机所采集帧图像在像素坐标系O₀uv中u轴和v轴方向上的尺寸因子α、β，由于摄像机制造工艺而存在的坐标轴倾斜因子γ，和以毫米为单位的图像物理坐标系原点O₁在以像素为单位的像素坐标系O₀uv中的坐标(u₀，v₀)，其中u₀为点O₁在O₀u轴方向上的坐标，v₀为点O₁在O₀v轴方向上的坐标，下标0用于表示该坐标在像素坐标系O₀uv中；外参包括：表示摄像机在世界坐标系O_WX_WY_WZ_W中位姿的旋转矩阵R_3×3＝[r₁ r₂ r₃]和平移向量t＝(t₁，t₂，t₃)^T，其中r₁、r₂、r₃分别为旋转矩阵R的三个列向量，t₁、t₂、t₃分别为世界坐标系原点O_W在摄像机坐标系三个坐标轴方向上的平移分量，上角标T表示转置；

摄像机内参及外参的初始静态标定，具体如下：设置一个5×7黑白棋盘格标定板，通过移动标定板，在不同位置、不同角度、不同姿态下用摄像机拍摄10幅标定板图像，应用Harris角点检测算法对每一幅标定板图像检测提取其24个内角点的二维图像像素坐标，根据张氏标定法的参数解算方法计算摄像机的内参和每幅标定板图像对应的外参，由于摄像机工作时的世界坐标系O_WX_WY_WZ_W建立在最后一幅标定板图像平面上，因而将由最后一幅标定板图像所解算出的外参作为摄像机的初始外参参数；最后利用Levenberg-Marquardt算法对所有得到的参数值进行最大似然估计，进一步迭代优化参数值的计算结果，最终得到摄像机成像的内参α、β、γ、u₀、v₀以及分别用矩阵形式表达的初始外参旋转矩阵R₀＝[r₁₀r₂₀ r₃₀]、平移向量t＝(t₁，t₂，t₃)^T，其中r₁₀、r₂₀、r₃₀分别为旋转矩阵列向量r₁、r₂、r₃的初始值；

摄像机动态外参的更新步骤如下：

步骤1、标定参照点检测：提取该次更新时刻摄像机所拍摄的图像，应用Harris角点检测算法对图像中的7个标定参照点坐标进行检测提取，计算得到此时7个标定参照点的图像像素坐标(u_i，v_i)，i＝1，2，..7；具体包含的子步骤为：

子步骤①：首先调用系统时钟开始计时，其次根据标定参照物的安装位置，在摄像机拍摄图像I(u，v)中固定选取一矩形角点检测区域；标定参照物位于图像左下角位置，故此时选取I(u，v)中左下角四分之一区域作为角点检测区域，I(u，v)中左下角四分之一区域即是距图像I(u，v)左边缘360像素内，且距下边缘288像素内的区域；并将该区域图像转换为灰度图I_ab(u，v)，从而计算角点检测区域I_ab(u，v)中各像素点灰度值在u、v两个方向的梯度I_u、I_v：

子步骤②：计算角点检测区域I_ab(u，v)内各像素点周围窗口自相关矩阵M：

子步骤③：计算角点检测区域I_ab(u，v)内各像素点的角点响应函数R(u，v)：

R(u，v)＝detM-k(traceM)² (5)

其中，detM为矩阵M的行列式，traceM为矩阵M的迹，k为经验参数，选取角点响应函数R(u，v)大于预设阈值的像素点进行局部非极大值抑制，同时选取局部极大值点，即为区域I_ab(u，v)内的角点；遍历I_ab(u，v)中所有像素点的角点响应函数R(u，v)，设置检测所得的最大角点数为7，即选取角点响应函数值R(u，v)最大的7个角点为标定参照点，从而得到该次更新时刻各参照点的图像像素坐标(u_i，v_i)；

步骤2、计算各标定参照点的三维摄像机坐标根据摄像机成像的针孔模型，利用步骤1中检测所得各参照点图像像素坐标(u_i，v_i)以及摄像机内参及外参的初始静态标定中标定得到的摄像机内参α、β、γ、u₀、v₀，计算参照点在该次更新时刻对应的三维摄像机坐标；

首先构建标定参照点在摄像机坐标系O_CX_CY_CZ_C与像素坐标系O₀uv间的转换关系：

其中，为前一次更新时各标定参照点在摄像机坐标系O_CZ_C轴上的坐标，i＝1，2，...，7，为此次更新时各标定参照点在摄像机坐标系O_CZ_C轴上的坐标，u_i为此次更新时第i个标定参照点在像素坐标系中O₀u轴方向上的坐标，v_i为此次更新时第i个标定参照点在像素坐标系中O₀v轴方向上的坐标；由于内参矩阵的齐次形式为3×4的不可逆矩阵，因此首先得到用表示的各标定参照点摄像机坐标：

其中，为此次更新时第i个标定参照点在摄像机坐标系中O_CX_C轴方向上的坐标，为此次更新时第i个标定参照点在摄像机坐标系中O_CY_C轴方向上的坐标，为此次更新时第i个标定参照点在摄像机坐标系中O_CZ_C轴方向上的坐标，并用下标i表示七个标定参照点的序号；其次利用7个标定参照点的空间几何特征，添加几何约束条件进行进一步解算；

根据标定参照点7点共面性质，建立约束方程：

根据式(7)对式(8)中进行代换，得到关于的四个非线性方程，并分别记为f_j(Z′_c)＝0，j＝1，2，3，4，其中为7维列向量，f_j(Z′_c)为关于Z′_c的函数，如：

i＝4，5，6，7

当i＝4时上式记为f₁(Z′_c)＝0，i＝5时上式记为f₂(Z′_c)＝0，i＝6时上式记为f₃(Z′_c)＝0，i＝7时上式记为f₄(Z′_c)＝0；

根据标定参照物对角线上三点共线性质，建立约束方程：

根据式(7)对式(9)中进行代换，得到关于的三个非线性方程，并分别记为f_j(Z′_c)＝0，j＝5，6，7，其中为7维列向量；

将f_j(Z′_c)＝0，j＝1，2，…，7组成含有7个未知数和7个方程的非线性方程组：

F(Z′_c)＝[f₁(Z′_c)，f₂(Z′_c)，...，f₇(Z′_c)]^T＝0 (10)

其中F(Z′_c)为由f_j(Z′_c)＝0组成的函数矩阵，j＝1，2，...，7；利用牛顿迭代法对式(10)进行解算，设置最大迭代次数N，并置当前迭代次数k＝0，精度要求ε＝10^-8，迭代初始值Z′_c⁽⁰⁾取前一次外参更新后的各标定参照点摄像机坐标系Z_c轴坐标，即首次外参更新时的迭代初始值Z′_c⁽⁰⁾则取标定参照点初始三维摄像机坐标计算中所得到的各标定参照点初始摄像机坐标系Z_c轴坐标，即其中为各标定参照点在三维摄像机坐标系Z_C轴上的初始坐标；每次迭代时解算线性方程组：

J(Z′_c^(k))Δ^(k)＝-F(Z′_c^(k)) (11)

其中Z′_c^(k)为第k次迭代时所用的近似解，F(Z′_c^(k))为由关于Z′_c^(k)的函数f_j(Z′_c^(k))组成的函数矩阵，j＝1，2，...，7，J(Z′_c^(k))为F(Z′_c^(k))关于Z′_c^(k)的Jacobi矩阵，即Δ^(k)表示第k次迭代时的误差，并置Z′_c^(k+1)＝Z′_c^(k)+Δ^(k)；若|Δ^(k)|＜ε或k＝N，则停止迭代，Z′_c^(k+1)即为非线性方程组式(10)的解，否则置k＝k+1并重新解算式(11)；最终得到符合预设精度要求或迭代次数要求的解Z′_c；

最后将由式(10)迭代解算出的结合式(7)计算得到该次更新时各标定参照点的三维摄像机坐标

步骤3、计算描述该次摄像机偏转的旋转矩阵R_Δ：利用步骤2中计算得到的该时刻各标定参照点摄像机坐标并结合前一次更新时刻各标定参照点的摄像机坐标计算两次更新间隔中描述摄像机坐标系偏转的旋转矩阵R_Δ，首次更新时则取标定参照点初始三维摄像机坐标计算中所得到的各参照点初始摄像机坐标值对坐标进行赋值，即具体包含的子步骤为：

子步骤A：将偏转过程分解为摄像机坐标系首先绕Z_c轴偏转角Δθ，之后绕Y_c轴偏转角最后绕X_c轴偏转角Δψ，并根据该次更新及前一次更新时参照点的摄像机坐标建立坐标转换方程：

矩阵即为描述该次摄像机坐标系偏转程度的旋转矩阵，偏转角Δθ、Δψ取值范围为即其正弦取值范围为[-1，1]，余弦取值范围为[0，1]；

子步骤B：将方程(12)转化为一个最小二乘问题进行具体解算：首先用向量形式表示各参照点的摄像机坐标，取坐标向量坐标向量则方程(12)描述为R_Δx_i＝x′_i，i＝1，2，...7；根据旋转矩阵的正交特性，将该方程转化为一个最小二乘问题进行解算：

其中I₃为3阶单位矩阵；

其次由矩阵论中矩阵乘积的迹数性质将式①问题转换为：

其中X是由列向量x_i组成的3×7坐标矩阵，i＝1，2，...7，X′是由列向量x′_i组成的3×7坐标矩阵；

对矩阵XX′^T进行奇异值分解：

XX′^T＝U∑V^T (15)

其中U、V均为3×3的正交阵，∑为3×3的对角阵；最后根据单位正交阵的性质解算式(11)问题得矩阵R_Δ：

R_Δ＝VU^T (16)

步骤4、摄像机旋转矩阵外参更新：根据前一次更新后的摄像机旋转矩阵R，以及步骤3中所得到的描述该次摄像机偏转的旋转矩阵R_Δ，计算此时摄像机坐标系相对于世界坐标系的旋转矩阵外参更新值R′，其中首次更新时则取摄像机内参及外参的初始静态标定中所得初始外参旋转矩阵R₀对R进行赋值，即R＝R₀：

R′＝R_ΔR (17)

该次计算完成后，将各参照点的摄像机坐标及旋转矩阵R进行参数值更新，i＝1，2，...7：取步骤2中计算所得该时刻各参照点的三维摄像机坐标对各参照点的摄像机坐标进行赋值，即取式(17)计算所得旋转矩阵外参更新值R′对旋转矩阵外参R进行赋值，即R＝R’；

最后将当前计时器时间和更新周期进行比较，若当前计时不足更新周期，则继续等待，当系统时钟计时到达更新周期，则立即将计时器重置并返回步骤1中标定参照点检测，开始进行下一次旋转矩阵外参的更新。

2.根据权利要求1所述的一种基于特定几何参照物约束的车载摄像机外参动态自标定方法，其特征在于，标定参照点的初始三维摄像机坐标的计算如下：

在载体车辆上固定安装一个正六边形黑白几何标定参照物，并使其处于摄像机所覆盖范围内；以毫米为单位的三维世界坐标系O_WX_WY_WZ_W建立于摄像机内参及外参的初始静态标定中所用最后一幅标定板图像平面上，即从摄像机拍摄角度，以最后一幅标定板图像位置的左上顶点为原点O_W，以标定板图像平面为O_WX_WY_W平面，O_WX_W轴沿标定板边缘水平指向载体车辆正向行驶的右侧，O_WY_W轴沿标定板边缘与载体车辆纵轴平行指向载体车辆内侧，并以右手螺旋定则确定O_WZ_W轴方向；将初始静态标定中所用最后一幅标定板图像平面放置于正六边形黑白几何标定参照物位置，从而使各标定参照点均位于世界坐标系O_WX_WY_W平面上；

测得参照物上7个标定参照点的三维世界坐标，第i个标定参照点的三维世界坐标表示为其中为第i个标定参照点在O_WX_W轴方向上的坐标，为第i个标定参照点在O_WY_W轴方向上的坐标，为第i个标定参照点在O_WZ_W轴方向上的坐标；其次利用摄像机内参及外参的初始静态标定所得到的初始外参旋转矩阵R₀＝[r₁₀ r₂₀ r₃₀]以及平移向量t＝(t₁，t₂，t₃)^T，建立世界坐标系O_WX_WY_WZ_W与摄像机坐标系O_CX_CY_CZ_C间的转换关系，从而计算7个标定参照点的初始三维摄像机坐标

其中为第i个标定参照点在摄像机坐标系中的O_CX_C轴方向上的初始坐标，为第i个标定参照点在O_CY_C轴方向上的初始坐标，为第i个标定参照点在O_CZ_C轴方向上的初始坐标，上标0均表示该坐标为载体车辆开始工作前静止状态时的初始坐标，下标C_i则表示该坐标为第i个标定参照点在三维摄像机坐标系中的坐标，O_1×3为1×3阶的零矩阵。