[发明专利]大斜视角下无人机可见光和红外图像目标定位方法

摘要

本发明公开了一种大斜视角下无人机可见光和红外图像目标定位方法，包括第一步基于成像模型的可见光和红外图像目标定位。第二步多因素影响下目标定位误差特征提取与表示。第三步变高度、大斜视角下目标定位误差预测与补偿。在大斜视角条件下，本发明能够有效地提高无人机目标定位精度；本发明提出的目标定位和误差补偿方法，计算量小，可以达到机载计算的实时性要求；本发明适用于可见光图像、红外图像等多种符合中心投影成像模型的图像目标定位应用。

主权项

一种大斜视角下无人机可见光和红外图像目标定位方法，具体实施步骤如下：第一步：基于中心投影成像模型的可见光和红外图像目标定位；具体为：(1)基于坐标系转换的侦察图像系统几何校正；基于中心投影成像模型进行系统级几何校正，建立各个坐标系之间的变换关系，图像平面到空间直角坐标系的转换过程为：像素坐标系I系—>相机坐标系C系—>无人机坐标系P系—>北天东坐标系N系—>空间直角坐标系G系—>大地坐标系E系；像素坐标系I系与相机坐标系C系之间存在平移变换TI以及坐标轴翻转变化：即将X变为相反数；相机坐标系C系中心与无人机坐标系P系之间存在平移变换TC以及透视变换MC；以P系原点为原点建立北天东坐标系N系，P系相对N系有三个方向的自由度转动，航向、俯仰、横滚，P系到N系的变换用透视变换Mp表示；I系中的像平面FI(xI,yI,zI)到N系中像平面FN(xN,yN,zN)的变换为：FN＝Mp·Mc·Tc·Xinv·TI·FI             (1)N系与G系存在平移变换，其三个平移量为无人机坐标系P系原点在G系的三个坐标轴上的投影；G系到E系的变换按照规定的投影模式进行；综上所述，利用公式(1)像平面从I系变换到N系后，再根据N系、G系、E系的关系利用空间相似三角形和高斯‑克吕格投影理论，最终完成像平面从I系到E系的转换过程；(2)基于共线方程的目标定位；假设像点a在I系的坐标为(u,v)，则根据公式(1)坐标系的变换，得到像点a在N系的坐标(Xda,Yda,Zda)，设与像点a相对应的物点A在G系坐标为(XA,YA,ZA)，摄影中心S的G系坐标为(XS,YS,ZS)，得到像点a的N系(Xda,Yda,Zda)与对应物点A的G系坐标(XA,YA,ZA)之间的关系为：XdaXA-XS=YdaYA-YS=ZdaZA-ZS=1λ---(2)]]>将上式写成矩阵形式为：XdaYdaZda=1λXA-XSYA-YSZA-ZS---(3)]]>式中λ为比例因子，(XS,YS,ZS)是由无人机所在的E系坐标(B,L,H)经高斯‑克吕格投影变换得到的；假设侦察目标在校正影像中的I系坐标为(uo,vo)，则侦察目标的E系坐标(xo,yo)为：xo=(Lngeast-Lngwest)Widthuo+Lngwestyo=Latnorth-(Latnorth-Latsouth)Heightvo---(4)]]>其中，Latnorth、Latsouth、Lngeast、Lngwest分别为校正影像的北纬、南纬、东经和西经边界值，Width、Height分别为校正影像的宽和高；第二步：多因素影响下目标定位误差特征提取与表示；具体为：(1)选择目标定位误差特征；将斜视角、成像方向角、高度设为目标定位误差特征；(2)目标定位误差特征表示；当无人机不存在任何姿态角的情况下，无人机坐标系与北天东坐标系是重合的，假设光轴长度为单位值1，得到光轴端点在北天东坐标系中的三维坐标表示(x,y,z)：式中表示平台高低角；κ表示平台方位角；当无人机自身发生姿态变化时，即由N系转换到P系，机体的转动将带动光轴指向发生变化，此时，根据坐标系转换重新获得光轴端点在新的坐标系下的三维坐标表示(x',y',z')：其中，表示无人机俯仰角，ω2表示无人机倾斜角，κ2表示无人机航向角；利用光轴的三维坐标(x',y',z')，求解出斜视角α和成像方向角β：tanα=|z′|(x′)2+(y′)2---(7)]]>α=arctan(|z′|(x′)2+(y′)2)---(8)]]>sinβ=x′(x′)2+(y′)2cosβ=y′(x′)2+(y′)2---(9)]]>β=arcsin(|x′|(x′)2+(y′)2)x′>0,y′>0π-arcsin(|x′|(x′)2+(y′)2)x′>0,y′<0π+arcsin(|x′|(x′)2+(y′)2)x′<0,y′<03π2+arcsin(|x′|(x′)2+(y′)2)x′<0,y′>0---(10)]]>第三步：变高度、大斜视角下目标定位误差预测与补偿；具体为：(1)目标定位误差预测模型建模；根据斜视角α，由已确定误差的校正后图像数据构成相应的训练样本，训练样本的总数记为m，第i个训练样本记作(x(i),y(i))，y(i)为样本误差值，x(i)为样本的特征，包含n个特征可表示为x(i)＝[x0,x1,x2,…,xn]T，其中x0＝1,x1＝H·tan(α),x2＝H,x3＝β，而误差与特征之间的非线性体现在x4＝x12,x5＝x22,x6＝x32,x7＝x13,x8＝x23,x9＝x33......；构建的预测模型数学形式如下式所示：y=hθ(x)=θ0x0+θ1x1+θ2x2+...+θnxn=Σi=0nθixi=θTx---(11)]]>其中：hθ(x)为关于特征x的待预测模型，θ为模型中待确定参数，θ＝[θ0,θ1,θ2,…,θn]T；对上述hθ(x)函数进行评估，代价函数如下：J(θ)=12Σi=1m(hθ(x(i))-y(i))2---(12)]]>采用梯度下降的方法最小化代价函数J(θ)，求解出最优的参数θ，首先对代价函数求偏导：▿θJ=∂∂θ0J∂∂θ1J...∂∂θnJ---(13)]]>然后采用迭代的方法计算θ的值：θ＝θ‑k▽θJ               (14)式中：k表示学习率；(2)不同高度、不同斜视角条件下，训练样本的选择；在成像高度、斜视角、成像方向角三个分量，划分分辨率，得到成像高度分辨率、斜视角分布率、成像方向角分辨率，依据三个分辨率设计样本分布表示和测量方法；(3)目标定位误差的预测与补偿；利用上述建立的定位误差预测模型及确定的训练样本，对预测模型进行训练，获取模型参数，采用此模型参数对待校正的图像进行定位误差预测，确定该图像的误差矢量ΔE(xe,ye)；将此误差对第一步获取的目标经纬度进行补偿，获取更加精确地经纬度信息(xo',yo')，如式15所示：xo′=xo+xeyo′=yo+ye---(15)]]>其中，xe表示预测出的图像在大地坐标系下x方向的误差长度，ye表示预测出的图像在大地坐标系下y方向的误差长度。