[发明专利]大视场宽工作距双目相机的在轨几何校正及精度验证方法有效
申请号: | 201711250032.7 | 申请日: | 2017-12-01 |
公开(公告)号: | CN107967700B | 公开(公告)日: | 2020-02-14 |
发明(设计)人: | 吴奋陟;王晓燕;王立;张成龙;张丽华;刘鲁;李涛;梁潇;高文文;李全良;王京海;邹月;郭健;郑岩;张运方 | 申请(专利权)人: | 北京控制工程研究所 |
主分类号: | G06T7/80 | 分类号: | G06T7/80 |
代理公司: | 11009 中国航天科技专利中心 | 代理人: | 李晶尧 |
地址: | 100080 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视场 工作 双目 相机 几何 校正 精度 验证 方法 | ||
1.大视场宽工作距双目相机的在轨几何校正及精度验证方法,其特征在于:包括如下步骤:
步骤(一)、利用摄影测量相机对星上靶标上的N个反射目标进行空间位置测量,测量N个反射目标的几何中心在星上靶标本体坐标系OCXCYCZC下的位置,设第i个反射目标的坐标值为(XCi,YCi,ZCi);XCi,YCi,ZCi分别为第i个反射目标在星上靶标本体坐标系XC方向、YC方向和ZC方向的坐标分量;N为大于等于100的正整数;1≤i≤N,且i为正整数;
步骤(二)、在星上靶标上方10cm位置处安装基准镜;架设第一经纬仪A1、第二经纬仪A2和第三经纬仪A3,利用第一经纬仪A1、第二经纬仪A2和第三经纬仪A3准直建立基准镜坐标系OJXJYJZJ;
步骤(三)、从N个反射目标中选取U个目标,利用第一经纬仪A1和第三经纬仪A3测量U个目标的几何中心在基准镜坐标系下的位置;设第k个反射目标在基准镜坐标系的坐标值为(XJK,YJK,ZJK);其中,XJK,YJK,ZJK分别为第k个反射目标在基准镜坐标系XJ方向、YJ方向和ZJ方向的坐标分量;10≤U≤N,且U为正整数;1≤k≤U,且k为正整数;
步骤(四)、根据步骤(一)和步骤(三)获得的数据,计算星上靶标N个反射目标的几何中心在基准镜坐标系下OJXJYJZJ的坐标值(XJi,YJi,ZJi);XJi,YJi,ZJi分别为第i个反射目标在基准镜坐标系XJ方向、YJ方向和ZJ方向的坐标分量;
第i个反射目标的几何中心在基准镜坐标系下的坐标值(XJi,YJi,ZJi)的计算方法为:
R=(A·BT)·(B·BT)-1 (7)
式中,(XCk,YCk,ZCk)表示U个反射目标中,第k个目标的几何中心在星上靶标本体坐标系下的坐标值;
表示U个反射目标的重心在星上靶标本体坐标系下的坐标值;
(XJk,YJk,ZJk)表示U个反射目标中,第k个目标的几何中心在基准镜坐标系下的坐标值;
表示U个反射目标的重心在基准镜坐标系下的坐标值;
定义辅助坐标系1,辅助坐标系1的原点位于U个反射目标的重心,辅助坐标系1的三轴指向与星上靶标本体坐标系的三轴指向一致;(X'Ck,Y'CX,Z'Ck)表示U个反射目标中,第k个目标的几何中心在辅助坐标系1下的坐标值;
定义辅助坐标系2,辅助坐标系2的原点位于U个反射目标的重心,辅助坐标系2的三轴指向与底板基准镜坐标系的三轴指向一致;(X'Jk,Y'Jk,Z'Jk)表示U个反射目标中,第k个目标的几何中心在基准镜坐标系下的坐标值;
A表示U个反射目标的几何中心在辅助坐标系1下坐标值的集合;
表示第U个反射目标中第一个反射目标的几何中心在辅助坐标系1下的坐标值;
表示第U个反射目标中第二个反射目标的几何中心在辅助坐标系1下的坐标值;
表示第U个反射目标中第U个反射目标的几何中心在辅助坐标系1下的坐标值;
B表示U个反射目标的几何中心在辅助坐标系2下坐标值的集合;
表示第U个反射目标中第一个反射目标的几何中心在辅助坐标系2下的坐标值;
表示第U个反射目标中第二个反射目标的几何中心在辅助坐标系2下的坐标值;
表示第U个反射目标中第U个反射目标的几何中心在辅助坐标系2下的坐标值;
R表示星上靶标本体坐标系至基准镜坐标系的旋转矩阵;
T'表示由U个反射目标中,每个反射目标的几何中心计算得到的星上靶标本体坐标系OCXCYCZC至基准镜坐标系OJXJYJZJ的平移量;
步骤(五)、建立双目相机辅助坐标系OFXFYFZF;调整双目相机,实现双目相机辅助坐标系OFXFYFZF相对于基准镜坐标系OJXJYJZJ的角度为相对位置为(0,0,L1);其中,θ1,κ1分别表示双目相机第一次调整到位时,双目相机辅助坐标系OFXFYFZF相对于基准镜坐标系OJXJYJZJ的俯仰角、偏航角和滚转角;L1表示双目相机辅助坐标系的原点在基准镜坐标系下正ZJ方向的坐标分量;
步骤(六)、双目相机第一次调整到指定位置后,建立左目相机图像坐标系OLxLyL和右目相机图像坐标系ORxRyR;对星上靶标上的反射目标成像;左目相机的成像图像为PL1;右目相机的成像图像为PR1;测量N个反射目标分别在左、右目相机图像坐标系下的成像位置(xiL1,yiL1)和(xiR1,yiR1);xiL1,yiL1分别表示第i个反射目标在左目相机第1张图像的左目相机图像坐标系OLxLyL下xL和yL方向的坐标分量;xiR1,yiR1分别表示第i个反射目标在右目相机第1张图像的右目相机图像坐标系ORxRyR下xR和yR方向的坐标分量;
步骤(七)、重复步骤(五)和步骤(六),对双目相机进行m次调整,10≤m≤N;双目相机辅助坐标系OFXFYFZF相对于基准镜坐标系OJXJYJZJ的角度为相对位置为(0,0,Lm);θm,κm分别表示机械臂第m次调整到位时,双目相机辅助坐标系OFXFYFZF相对基准镜坐标系OJXJYJZJ的俯仰角、偏航角和滚转角,Lm表示双目相机辅助坐标系OFXFYFZF原点在基准镜坐标系OJXJYJZJ下ZJ方向的坐标分量;PLm表示左目相机拍摄的第m张图像;PRm表示右目相机拍摄的第m张图像;测量N个反射目标分别在左、右目相机图像坐标系下的成像位置(xiLm,yiLm)和(xiRm,yiRm);xiLm,yiLm分别表示第i个反射目标在左目相机第m张图像的左目相机图像坐标系OLxLyL下xL和yL方向的坐标分量;xiRm,yiRm分别表示第i个反射目标在右目相机第m张图像的右目相机图像坐标系ORxRyR下xR和yR方向的坐标分量;
步骤(八)、将步骤(四)和步骤(七)的测量数据一一对应,分别建立左目相机和右目相机的反射目标像点位置的修正方程;并计算左目相机内参数、左目相机拍摄图像时的摄站外参数,以及右目相机内参数、右目相机拍摄图像时的摄站外参数;
将N个反射目标的几何中心在基准镜坐标系下的坐标(XJi,YJi,ZJi)与左目相机对每个反射目标的成像位置坐标(xiLm,yiLm)一一对应,m张图像共计m*N个目标,对每个目标数据按照下式建立像点位置修正方程:
式中,Δx'iLm表示左目相机第m张图像上第i个标志成像位置在xL方向的修正量;
Δy'iLm表示左目相机第m张图像上第i个标志成像位置在yL方向的修正量;
定义双目左目相机本体坐标系OBLXBLYBLZBL,左目相机本体坐标系OBLXBLYBLZBL是一个坐标系原点和坐标系指向待确定的空间坐标系,双目左目相机本体坐标系OBLXBLYBLZBL的原点OBL位于相机光学系统光心位置,列增大方向为XBL方向,行减小方向为YBL方向,ZBL方向按照右手法则定义;(XLm,YLm,ZLm)表示第m张图像拍摄时基准镜坐标系OJXJYJZJ原点OJ在双目左目相机本体坐标系OBLXBLYBLZBL下的坐标;(XBLim,YBLim,ZBLim)表示第m张图像拍摄时第i个点在左目相机本体坐标系OBLXBLYBLZBL下的坐标;RwLm(ωLm,ψLm,γLm)表示第m张图像拍摄时,左目相机本体坐标系OBLXBLYBLZBL至基准镜坐标系OJXJYJZJ的旋转矩阵,ωLm,ψLm,γLm分别为与旋转阵对应的旋转角度;
fL表示左目相机焦距;
Δxr-iLm和Δyr-iLm分别表示第m张图像上第i个标志成像位置在xL和yL方向的径向畸变修正量;
Δxd-iLm和Δyd-iLm分别表示第m张图像上第i个标志成像位置在xL和yL方向的偏心畸变修正量;
Δxm-iLm和Δym-iLm分别表示第m张图像上第i个标志成像位置xL和yL方向的像平面畸变修正量;
xpL表示左目相机图像中心在xL方向的偏移量;
ypL表示左目相机图像中心在yL方向的偏移量;
K1L表示左目相机一阶径向畸变修正系数;
K2L表示左目相机二阶径向畸变修正系数;
K3L表示左目相机三阶径向畸变修正系数;
P1L表示左目相机偏心畸变修正系数1;
P2L表示左目相机偏心畸变修正系数2;
b1L表示左目相机像平面畸变修正系数1;
b2L表示左目相机像平面畸变修正系数2;
表示第m张图像上第i个标志成像位置与(xpL,ypL)的距离;
将公式(11)至公式(17)进一步整理为如公式(18),每个点可列2个方程,m*N个点共计列方程2*m*N个:
构造迭代式采用高斯-牛顿法求解:
据此求得双目左目相机的标定参数ωLm,ψLm,γLm,XLm,YLm,ZLm,fL,xpL,ypL,K1L,K2L,K3L,P1L,P2L,b1L,b2L;
同理,将右目相机对星上靶标反射目标的成像位置坐标(xiRm,yiRm)与底板基准镜坐标系下的坐标(XJi,YJi,ZJi)一一对应,列2*m*N个方程,求解右目相机参数,包括:
fR表示右目相机焦距;
xpR表示右目相机图像中心在xR方向的偏移量;
ypR表示右目相机图像中心在yR方向的偏移量;
K1R表示右目相机一阶径向畸变修正系数;
K2R表示右目相机二阶径向畸变修正系数;
K3R表示右目相机三阶径向畸变修正系数;
P1R表示右目相机偏心畸变修正系数1;
P2R表示右目相机偏心畸变修正系数2;
b1R表示右目相机像平面畸变修正系数1;
b2R表示右目相机像平面畸变修正系数2;
定义双目右目相机本体坐标系OBRXBRYBRZBR,右目相机本体坐标系OBRXBRYBRZBR是一个坐标系原点和坐标系指向待确定的空间坐标系,双目右目相机本体坐标系OBRXBRYBRZBR的原点OBR位于相机光学系统光心位置,列增大方向为XBR方向,行减小方向为YBR方向,ZBR方向按照右手法则定义;RwRm(ωRm,ψRm,γRm)表示第m张图像拍摄时,双目右目相机本体坐标系OBRXBRYBRZBR至基准镜坐标系OJXJYJZJ的旋转矩阵,ωRm,ψRm,γRm分别为与旋转阵对应的旋转角度;
步骤(九)、根据步骤(八)计算得到的左目相机摄站外参数和右目相机摄站外参数计算左、右目相机之间的位置和姿态;
步骤(十)、从m对图像中任选一张,根据步骤(八)和步骤(九)计算的左目相机内参数、外参数,以及左、右目相机之间的位置和姿态计算双目相机在轨标定后的精度;
双目左、右目相机之间的位置和姿态关系按照下式计算:
式中,TL=(XLm,YLm,ZLm)T,TR=(XRm,YRm,ZRm)T;
Rm(ωm,ψm,γm)表示第m张图像拍摄时,左目相机本体系到右目相机本体系的旋转阵,ωm,ψm,γm分别为与旋转阵对应的旋转角度;
Tm表示第m张图像拍摄时,右目相机本体系原点在左目相机本体系下坐标;
T表示右目相机本体系原点在左目相机本体系下坐标;ω表示左目相机本体系相对于右目相机本体系的俯仰角;
ψ表示左目相机本体系相对于右目相机本体系的偏航角;
γ表示左目相机本体系相对于右目相机本体系的滚转角;
所述步骤(十)中,按照下式计算双目相机在轨标定后的精度:
式中,x'iLm和y'iLm分别表示左目相机图像上第i个目标校正后xL方向、yL方向的坐标分量;
同理,计算右目相机图像上第i个目标经过畸变校正后的坐标(x'iRm,y'iRm);x'iRm和y'iRm分别表示右目相机图像上第i个目标校正后xR方向、yR方向的坐标分量;
表示左目相机光心到右目相机光心的单位矢量;
rzDL=[0 0 1],表示左目相机光轴方向矢量;
表示由rzDL方向和ryLv方向叉乘得到的单位矢量方向;
rzLv=rxLv×ryLv,表示由rxLv方向和ryLv方向叉乘得到矢量方向;
定义左目相机虚拟坐标系,坐标系原点位于左目相机光心位置,rxLv为正XVL方向,ryLv为正YVL方向,rzLv为正ZVL方向;
定义右目相机虚拟坐标系,坐标系原点位于右目相机光心位置,三轴方向与左目相机虚拟坐标系指向一致,三轴方向分别为XVR,YVR和ZVR;
RVL2DL=[rxLvT ryLvT rzLvT],表示左目相机虚拟坐标系至左目相机本体系的旋转阵;
表示右目相机本体系至右目相机虚拟坐标系的旋转阵;
表示左目相机第m张图像上第i个标志成像位置修正后在左目相机虚拟坐标下的坐标,XimVL,YimVL,ZimVL分别为坐标在左目相机虚拟坐标XVL方向、YVL方向和ZVL方向的分量;
[XimVR YimVR ZimVR]T=RDR2VR·[x'ipRm y'ipRm -fR]T,表示右目相机第m张图像上第i个标志成像位置修正后在右目相机虚拟坐标下的坐标,XimVR,YimVR,ZimVR分别为坐标在右目相机虚拟坐标XVR方向、YVR方向和ZVR方向的分量;
(ximvl,yimvl)表示左目相机第m张图像上第i个标志成像位置修正后重投影得到像点坐标,ximvl,yimvl分别为XVL方向和YVL方向的分量;
(ximvr,yimvr)表示右目相机第m张图像上第i个标志成像位置修正后重新投影得到像点坐标,ximvr,yimvr分别为XVR方向和YVR方向的分量;
erri=yimvr-yimvl表示左目相机、右目相机第m张图像上第i个标志成像位置修正并重新投影后像点在YVL方向的偏差量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京控制工程研究所,未经北京控制工程研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711250032.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:视觉定位装置及方法
- 下一篇:一种深度摄像设备的标定方法、装置及设备