[发明专利]基于镀膜式多光谱相机的立体视觉系统及其标定测距方法

权利要求书

1.一种基于镀膜式多光谱相机的立体视觉系统，其特征在于：包括多光谱立体相机及与多光谱立体相机相连的计算机；

多光谱立体相机用于获取多光谱双目图像IL和IR；

计算机上存储有多光谱双目测距算法程序，所述计算机执行所述多光谱双目测距算法程序时实现以下步骤：

步骤一：对两幅多光谱双目图像IL和IR进行极线校正；获取两幅满足极线约束的多光谱双目图像IL1和IR1；

步骤二：对多光谱双目图像IL1和IR1分别进行辐射校正，获得多光谱双目图像IL2和IR2；

步骤三：对多光谱双目图像IL2和IR2分辨率复原，将探测器单通道原始图像采用小波变换的泰勒级数近似估计方法复原为分辨率保持不变的具有多个谱段的多通道图像；

步骤四：提取步骤三复原后多光谱双目图像中的光谱信息和结构信息；

步骤五：基于步骤四提取的光谱信息和结构信息，利用现有算法计算视差空间图DSI，并采用半全局匹配SGM的方法进行视差传播；

步骤六：利用Winner-Take-All的策略获取视差图，并进行左右交叉验证去除错误点，利用周边区域生长的方式填补视差图中的空洞并进行引导滤波优化；得到处理后的视差图；

步骤七：基于步骤六计算出的视差图，以及标定参数，利用投影公式计算出对应场景点的(X,Y,Z)坐标。

2.根据权利要求1所述的基于镀膜式多光谱相机的立体视觉系统，其特征在于：

多光谱立体相机包括系统外形框架、置于系统外形框架内部的图像采集电路板、两台马赛克镀膜式多光谱探测器及两组镜头；

两组镜头分别安装在两台马赛克镀膜式多光谱探测器上，构成两台多光谱相机；

两台多光谱相机的光轴平行且共面，其安装位置满足双目测距原理要求的相机安放位置关系；

图像采集电路板与两台马赛克镀膜式多光谱探测器连接，用于向两台马赛克镀膜式多光谱探测器发送同步采集信号，并收集整合两台马赛克镀膜式多光谱探测器传回的图像数据，通过协议接口发往后端的计算机。

3.根据权利要求1所述的基于镀膜式多光谱相机的立体视觉系统，其特征在于，步骤三具体为：

3.1)、计算多光谱双目图像IL2和IR2的无网格图像IL3和IR3；

3.2)、使用梯度算子计算图像IL3和IR3中每个像素的梯度强度；

3.3)、从图像IL3和IR3中分别提取第一个谱段对应的所有像素点，将所有不属于第一个谱段像素点的像素值置零，将被置零的像素点作为待插值像素点；

3.4)、计算待插值像素点与附近各个非零像素连线上的最大梯度，作为待插值像素点与该非零像素之间的梯度，并在后续插值时依次计算权重；

3.5)、将步骤3.4)计算得到的待插值像素点与该非零像素之间的梯度强度的倒数作为权重，对该待插值像素点进行加权平均插值，插值后除以所有权重的和进行归一化；

3.6)、对图像IL3和IR3的每一个谱段的每一个待插值像素点分别进行步骤3.3)-步骤3.5)的操作；获得图像IL3和IR3所有谱段的分辨率复原结果。

4.一种权利要求1所述的基于镀膜式多光谱相机的立体视觉系统的标定方法，其特征在于，包括以下步骤：

步骤a、标定图像的采集过程；

步骤b、对两台多光谱相机采集的原始图像分别进行小波去网格操作，获得两幅视图的去网格图像；

步骤c、基于获取的两幅视图的去网格图像，对两台多光谱相机进行标定，获得两台多光谱相机的内参数以及基于镀膜式多光谱相机的立体视觉系统的外参数；

步骤d、进行基于白板的辐射度定标，得到两台多光谱相机的各个谱段的相对辐射系数。

5.根据权利要求4所述的基于镀膜式多光谱相机的立体视觉系统的标定方法，其特征在于，步骤b)具体为：

b1)、使用小波对原始图像进行三级小波变换，得到各个级别的水平方向、竖直方向以及对角线方向的小波变换图像；

b2)、将水平方向和竖直方向的小波变换图像中所有像素值置零；

b3)、利用同样的小波基对b2)中得到的小波变换图像进行小波反变换重构原始图像，即可获得去除网格现象的图像。