[发明专利]基于镀膜式多光谱相机的立体视觉系统及其标定测距方法

说明书

本发明总体涉及一种多光谱双目视觉系统，具体地涉及基于镀膜式多光谱相机的立体视觉系统及其标定测距方法。本发明利用马赛克镀膜的视频多光谱探测器构建具备多光谱双目测距功能的立体视觉系统，以及针对多光谱图像设计的系统标定和匹配算法。具体包括多光谱探测器硬件系统的装配，多光谱图像预处理、系统标定、特征提取、半全局匹配优化以及视差提精的后处理等。本发明所设计的多光谱双目立体视觉成像系统以及对应的测距算法软件，可以用于各种复杂场景的测距。例如无人驾驶车辆的环境感知；在视频监控数据自动分析；在军用中的伪装涂料或伪装布目标测距分析等。

技术领域

本发明涉及一种多光谱双目视觉系统，具体地涉及一种基于镀膜式多光谱相机的立体视觉系统以及测距方法。

背景技术

立体视觉相机尤其是双目相机是一种用途广泛的设备，其能够根据双目视差的原理计算出所拍摄物体相对于相机的三维空间位置。此类设备目前已被广泛应用于生产线检测、车辆主动安全、无人驾驶、三维扫描等领域。

在利用双目相机实现双目测距的过程中，左右视图的特征提取和匹配是决定测距精度的重要因素。现有的双目相机多是基于普通CCD或CMOS传感器获取黑白/彩色的高清图像，并通过各种形式的立体匹配算法进行视差信息获取。此类系统存在的问题是当目标和背景颜色、纹理相似时，目标的轮廓难以区分，特征点提取困难，从而造成视差图计算出现错误，影响测距能力。在视频监控、无人驾驶中，此类场景常体现在行人服装、车辆的颜色与背景颜色相似；在军用中，此类场景常见于目标采用了伪装涂料或伪装布的情况，在彩色图像中与背景发生混淆；在其他领域也可能存在此类前景背景难以利用颜色区分的情况。

为了在这些复杂场景下保证立体视觉测量的准确性，需要借助彩色图像之外的其他波段提高前景和背景的区分能力，采用多光谱探测器就是很好的选择。如美国的“勇气号”火星探测器曾携带多光谱双目相机，其通过滤光片轮转动的方式分时获取不同波段的图像，实现对静态岩石地貌的多光谱立体测绘。但是，这类系统无法实时成像，难以满足运动目标或运动平台的立体测距需求。

发明内容

为了解决现有双目视觉相机在目标和背景颜色相似的情况下难以有效提取特征，进而导致视差图计算误差大、测距精度低的问题，本发明提供了一种基于镀膜式多光谱相机的立体视觉系统以及该系统的标定方法及利用该系统实现测距的方法。

随着多光谱成像技术的发展，目前市面上的视频级多光谱相机可以实现多波段实时成像，其中一种视频级多光谱相机是在探测器上进行马赛克镀膜(类似彩色探测器的Bayer镀膜)。本发明利用该类镀膜式视频级多光谱相机搭建了立体视觉系统，但是由于镀膜式视频级多光谱相机获取的原始图像是经过了马赛克编码的，因此图像表面存在网格状的马赛克现象。在进行相机内外参数标定以及视差图计算时都不能直接使用传统的立体视觉算法。因此，本发明基于该系统还设计了相机标定和测距算法。

本发明的技术解决方案是提供一种基于镀膜式多光谱相机的立体视觉系统，其特殊之处在于：包括多光谱立体相机及与多光谱立体相机相连的计算机；

多光谱立体相机用于获取多光谱双目图像IL和IR；

计算机上存储有多光谱双目测距算法程序，上述计算机执行所述多光谱双目测距算法程序时实现以下步骤：

步骤一：对两幅多光谱双目图像IL和IR进行极线校正；获取两幅满足极线约束的多光谱双目图像IL1和IR1；

步骤二：对多光谱双目图像IL1和IR1分别进行辐射校正，获得多光谱双目图像IL2和IR2；

步骤三：对多光谱双目图像IL2和IR2分辨率复原，将探测器单通道原始图像采用小波变换的泰勒级数近似估计方法复原为分辨率保持不变的具有多个谱段的多通道图像；

步骤四：提取步骤三复原后多光谱双目图像中的光谱信息和结构信息；