[发明专利]一种面向硬式空中加油的视觉测量方法

摘要

本发明提出了一种面向硬式空中加油的视觉测量方法，一种面向硬式空中加油的视觉测量方法，该方法的步骤如下步骤一基于发光二极管(LED)的受油口目标识别；步骤二LED标志点中心点匹配；步骤三利用高斯最小二乘微分校正算法对受油口相对相机的平移矩阵和旋转矩阵进行求解。本方法利用视觉传感器，对受油口位姿进行测量，利用测量得到的位姿关系对受油机以及加油杆实现精确控制，实现加油对接。本方法鲁棒性好，精确性高，可大大提高硬式空中加油的安全性和可靠性。

主权项

一种面向硬式空中加油的视觉测量方法，其特征在于，该方法的步骤如下：步骤一：基于发光二极管LED的受油口目标识别在视觉测量时，需要对受油口进行识别，在受油口附近设置7个红色LED光标记点，利用计算机视觉实现对光标记点的检测识别；1.1将图像序列进行彩色空间RGB到色相、饱和度和明度HSV化处理：通过相机获取光标记点的位图像，将光标记点设置成红色，利用这个颜色特征信息进行点提取；首先，将相机采集到的RGB图像变换到HSV空间；对于H、S、V三个通道的图像，选取其中光标记点最明显的S通道图像进行中值滤波，并由给定阈值进行分割，得到二值化图像；该二值化图像存在噪声，用腐蚀、膨胀的形态处理，将该噪声去掉，检测到光斑区域，但光斑的数目及光斑中心点的坐标位置需要精确求解；根据均值平移mean shift的聚类思想，采用mean shift聚类算法求解这些光标记点的图像坐标，为最后受油口与相机相对位置测量做准备；色调H表示颜色的色相，用角度来度量，取值范围为0°～360°，从红色才是按逆时针方向计算，红色为0°，绿色为120°，蓝色为240°；饱和度S表示颜色的纯度，其取值范围为0.0～1.0；亮度V表示颜色的亮度，取值范围为0.0黑色～1.0白色，圆锥的顶面对应于V＝1，代表的颜色最亮；令max为R、G、B三个分量的最大值，min为三个分量的最小值，r、g、b分别表示三个分量的值，RGB到HSV的变换的数学公式如下所示：S=0,ifmax=0max-minmax=1-minmax,otherwise---(2)]]>V＝max    (3)1.2对颜色空间变换后的图像分别在H、S、V通道进行阈值分割：由于检测对象是受油口附近红色光标记点，通过RGB颜色空间到HSV空间的变换得到三个通道H、S、V通道图像，其中S通道光标记点最为明显，选择S通道的图像进行特定阈值分割，检测到目标光斑；分割得到的二值图存在噪声点，通过中值滤波及形态学的腐蚀膨胀算子进行处理；1.3光标记点中心定位：在经过以上操作之后，能够获取LED标志点在图像中的区域，在这一基础上，还需要确定每个区域的中心位置，也就是确定光标记点的中心；不同于背景像素有很多相似块区域分布在图像各处，显著点往往是聚集在一起；所以认为像素块pi和与其相似的块距离都很近，则pi是显著的，当相似块都分布在较远区域，则pi的显著性不高；因此用dposition(pi,pj)来度量像素块pi和pj之间的距离：dposition(pi,pj)=||positionpi-positionpj||---(4)]]>式中，dposition(pi,pj)是像素块pi和像素块pj之间的距离，和表示分别是像素块pi和像素块pj的图像坐标；结合上面两个特征，对于两个像素块，采用一个相异度计算方法：d(pi,pj)=log(1+dcolor(pi,pj))1+c·dposition(pi,pj)---(5)]]>式中c为系数，dposition(pi,pj)含义与上式相同，dcolor(pi,pj)表示像素块pi和像素块pj在颜色空间上的距离；在计算像素块pi的显著程度时，选择K个与它最相似的像素块作为参考集，如果它与参考集的差异度很大，则认为它与图像其他像素块的相异度都很大；因此定义显著性Sir=1-exp{-1KΣk=1Kd(pir,qkr)}---(6)]]>式中r为尺度；1.31多尺度显著度增强由于背景像素块在多尺度上有很多相似的块，而显著像素块只在几个尺度上有类似的块，故引入多尺度方法来加强显著区域与非显著区域的对比度；因此修正如下：Sir=1-exp{-1KΣk=1Kd(pir,qkrm)}---(7)]]>其中rm∈{R|R＝{r1,r2...rM}}，rm为尺度，M为尺度的数目；得出像素pi的显著度为它在不同尺度上的均值：S‾i=1MΣrmSirm---(8)]]>1.32区域显著值修正根据三分法的特性，认为在全局视角上，像素离交点的距离越近，它的显著度越高，所以显著度公式修正为S^i=S‾i(1-dfoci(i))---(9)]]>其中dfoci(i)表示像素块pi离交点的距离；因此能找到显著度最大的像素块，取其中心作为光标记点中心；步骤二：LED标志点中心点匹配将块拟合之后的点与标志点的世界坐标进行拟合，计算每个提到的点的图像坐标与所有标志点的世界坐标转换成图像坐标之后的图像坐标之间的欧式距离，与哪个标志点最近，就认为提到的某点为该标志点，从而赋予其世界坐标进行后面的计算；特征点匹配是匹配标记连续帧图像对应特征点的位置；因为已经给出了光标记点Pj在图像上的投影方程，假定从摄像机采集图像提取特征点得到的检测点集为{p1,p2,...pn}，其中pj＝(uj,vj)是图像坐标，而投影点集为同时设对应的投影点集为其中是利用针孔投影成像模型计算得到的在像素坐标系中的坐标；当检测特征点与投影特征点匹配上时，两个点集的欧式距离最小；检测点集{p1,p2,...pn}和投影点集之间的欧式距离矩阵Err如下，其矩阵的维数为m×n；Err=d(p^1,p1)d(p^1,p2)...d(p^1,pn)d(p^2,p1)d(p^2,p2)...d(p^2,pn)············d(p^m,p1)d(p^m,p2)...d(p^m,pn)---(10)]]>点集间对应点的匹配问题用数学指派问题来描述，描述为：假设有两个点集A,B,Sik表示集合A中的点i与集合B中的点k之间的欧式距离，求解两个点集的最小欧式距离，表示为如下公式：minΣi=1NΣk=1NsikxikΣi=1Nxik=1,k=1...NΣi=1Nxik=1,i=1...NSik>0xik∈{0,1}---(11)]]>S＝{sij|sij＝dist(ai,bj),ai∈A,bj∈B,i＝1...N,j＝1...M}  (12)sik、sij和dist(ai,bj)表示点之间的欧氏距离，xik为示性函数，当点匹配上时值为1，否则为0；求解上述最小欧式距离的解，利用匈牙利算法Hungarian，限于求解方阵点数相同的两个点集，以及改进算法Munkres，求解非方阵，是两个点数不一样多的点集；步骤三：利用高斯最小二乘微分校正算法对受油口相对相机的平移矩阵和旋转矩阵进行求解3.1相机成像模型及各个坐标系定义说明：针对硬管式空中加油问题，假定相机放置在加油机机身尾部下方伸缩管附近某一特定位置，并事先已标定好；为了获取受油机相对加油机的位置和姿态信息，在受油口附近设置多个光标记点，用于对受油机机背上受油口的识别和定位，并由事先标定好的光标记点的相对几何位置关系及摄像机成像系统模型来求解上述位置和姿态信息；基于视觉的导航系统为加油机和受油机的引导控制系统提供受油机相对加油机的位置和姿态信息，对这些信息的求解首先需要定义加油机机体坐标系、受油机机体坐标系、摄像机成像系统坐标系，及受油机坐标系，通过各个坐标系之间的关系来描述其相对几何位姿关系；各个坐标系的定义如下：Ob1‑xb1yb1zb1：受油机机体坐标系；Ob1‑xb2yb2zb2：加油机机体坐标系；Oc‑xcyczc：安装在加油机上的摄像机成像坐标系；Od‑xdydzd：受油口坐标系；Oe‑xeyeze：大地坐标系；视觉测量的功能就是求解受油机上的受油口坐标系Od‑xdydzd的中心Od到加油机伸缩管附近摄像机坐标系中心Oc的距离dD，最后转换为受油机和加油机质心间的相对距离和姿态；加油机上的相机成像原理采用针孔摄像机数学模型来描述；为了从代数上描述上述几何投影关系，需要建立摄像机坐标系和图像平面坐标系；设摄像机坐标表示为Oc‑xcyczc，摄像机的焦距为f；空间点Pc在摄像机坐标系中的欧氏坐标记为(xc,yc,zc)，它的像点p在图像坐标系中的坐标记为(x,y)，根据三角关系，得到下述关系：x=fzcxcy=fzcyc---(13)]]>上式表述为：zcxy1=f0000f000010xcyczc1---(14)]]>图像物理坐标系以摄像机光轴与像平面的交点为原点，以毫米为单位；假设每一个像素在x轴与y轴方向的物理尺寸为dx.dy，图像物理坐标系原点在图像坐标系中坐标为(u0,v0)，则在图像坐标系上的点(u,v)与图像物理坐标系中对应点(x,y)的转换关系表示为：u=xdx+u0v=ydy+v0---(15)]]>为了使用方便，用齐次坐标与矩形形式来表示：uv1=1dx0uo01dyvo001xy1---(16)]]>而摄像机坐标(xc,yc,zc)同受油口坐标(xd,yd,zd)的坐标转换是两个三维坐标系之间的变换，用一个旋转矩阵R与一个位移矩阵t来描述，转换关系的数学表达式如下：xcyczc1=Rt0T1xdydzd1---(17)]]>3.2基于高斯最小二乘微分校正算法的位姿测量高斯最小二乘微分校正算法将高斯‑牛顿法应用于表示估计点与检测点之间偏差非线性代价函数的最小化上；设图像序列在k时刻检测、标记的特征点j的坐标是[uj vj 1]T，旋转矩阵R和位移矩阵t均为未知向量X(k)的估计值的函数，利用将第j个坐标点投影到成像平面，记作重新安排特征点坐标，得到：G(X‾(K))=[u‾1,v‾1,......,u‾m,v‾m]---(15)]]>式中前三个参数分别是偏航角、俯仰角、滚转角，后三个参数为相对位移在x,y,z方向上的投影；k时刻处理算法提取达到的像素点集记为G0(k)，视觉估计误差ΔG(k)定义为：ΔG(k)=G0(k)-G(X‾(k))---(16)]]>G0(k)＝[u1,v1,......vm]   (17)高斯最小二乘微分校正算法迭代更新迭代公式为：X‾i+1(k)=X‾i(k)+Ri-1(k)AiT(k)W(k)ΔGi(k)---(18)]]>其中，i为迭代次数，W(k)为控制矩阵，为Ri(k)的逆，为Ai(k)的转置；Ri(k)和Ai(k)定义如下：Ri(k)=AiT(k)W(k)Ai(k)---(19)]]>Ai(k)=∂Gi(k)∂X|X=X~(k)---(20)]]>为偏导数符号；迭代过程结束后，估计点和检测点的位置偏差充分小时，得出估计值的最优解，解算出旋转矩阵R和位移矩阵t，从而估计出飞机的位姿。