[发明专利]基于双目视觉的飞机滑行防撞辅助方法

权利要求书

1.一种基于双目视觉的飞机滑行防撞辅助方法，其特征在于，机头位置和近邻机翼前侧的两侧客舱内分别安装有双目相机，所述双目相机横向排列，所述方法包括：

获取每个相机所采集的图像数据与当前时刻外部点云数据，确定每个双目相机的深度信息；

沿横向对每个双目相机的深度信息进行滤波填充，得到填充滤波后的深度信息矩阵；

所述深度信息矩阵进行可视化，并将位于地面以下及高于飞机高度预设倍的点云信息去除，预设倍的设置与飞机高度与飞机型号对应；

绘制俯视障碍物显示图，将点云信息沿Z轴方向以最大值进行滤波，以相机为圆心，将障碍物遮挡区域后方视为障碍区域并进行赋值，得到障碍物俯视信息，其中，与飞机碰撞区域标注为第一颜色，安全区域标注为第二颜色。

2.根据权利要求1所述的方法，其特征在于，确定每个双目相机的深度信息，包括，

获取双目相机每一帧输出的原始视差信息、相机采集的RGB信息和相机参数信息；

利用相机参数对原始视差信息进行处理，并舍去宽为三像素的外围边界信息；

将视差信息转化为深度信息，满足：

其中，f为相机的焦距，Baseline为相机基线值，Dsp表示图像坐标(m，n)点的视差值；Z表示表示图像数据中坐标(m，n)像素点距离摄像机镜头所在平面的垂直距离。

3.根据权利要求1所述的方法，其特征在于，沿横向对每个双目相机的深度信息进行滤波填充，包括：

获取双目相机每一帧的图像数据，确定图像数据中的多个深度值，所有深度信息形成深度信息矩阵；

沿横向方向对所述深度信息矩阵进行横向遍历，以计算空值点的横向变化率值，所述横向变化率值满足：

其中，LDsp_(m,n)为点(m,n)的左侧第一个不为0的点的深度值，nL_(m,n)为其纵坐标值；RDsp_(m,n)为右侧第一个不为0的点的深度值，nR_(m,n)为其纵坐标值；

设置阈值，判断当前点坐标沿遍历方向的变化率值是否大于所述阈值，如是，不进行填充，如否，对该点深度值进行填充；

横向填充完毕后，先后沿斜下方向、斜上方向填充，再纵向填充；

填补剩余空缺点，多次迭代，得到填充滤波后深度信息Dsp_fill，形成填充完后的数字矩阵。

4.根据权利要求3所述的方法，其特征在于，所述阈值为λ,当变化率δλ时，不进行填充，当变化率δλ时，该点深度值填充，填充的数值满足：

Dsp_fill(m,n)＝LDsp_(m,nL)+δ_(m,n)×(n-nL_(m,n))。

5.根据权利要求3所述的方法，其特征在于，所述深度信息矩阵进行可视化，包括：

根据深度信息，转化为色彩空间表示；形成初始可视图，用颜色表示对应的像素点距离飞机的距离值，根据距离值生成深度图色彩表示；

在原始影像图上进行叠加，显示得到实景障碍物警示图，其中，可能发生碰撞的物体以第一颜色进行填充或标识，所述第一颜色具备多种色彩的渐变特性，随着距离值越远，颜色逐渐变为绿色。

6.根据权利要求5所述的方法，其特征在于，计算填充后的数字矩阵在真实空间中的坐标，包括：

得到填充后深度信息，根据公式计算该点在相机坐标系中x轴与y轴坐标信息：

其中，f是相机焦距；img_width是相机采集图像的宽，img_Heighth是相机采集图像的高,Z(m，n)是填充后矩阵中坐标(m，n)的深度或距离，表示为该点距离飞机真实的距离值，X，Y，Z为以镜头建立三维坐标系，镜头指向方向为Z轴，表示该图像坐标(m，n)像素点距离摄像机镜头所在平面的垂直距离，镜头于飞机指向飞机上方为Y轴，与X轴、Z轴呈直角，指向成像平面右方为X轴,得到相机坐标系的点云数据。