[发明专利]基于激光雷达的可见光与近红外配准系统及配准方法

说明书

基于激光雷达的可见光与近红外配准系统及配准方法，涉及车载视觉系统图像处理，计算机视觉技术领域，解决现有多传感器图像配准速度慢、实时性差、效率低等问题。包括可见光相机，近红外相机，激光雷达，图像配准模块以及用于显示拼接图像与原图像的显示模块；图像配准模块设置有输入端、输出端以及图像配准内部处理器，图像配准内部处理器从输入端接收图像信息后使用图像配准算法进行运算，近红外相机输出接口和可见光相机输出接口分别接入图像配准模块的输入端，激光雷达的输出端口与图像配准模块输入端相连接；图像显示模块与图像配准模块的输出端连接，用于显示配准前后的图像。本发明方法处理速度快、效率高，适用于需要实时处理的视觉系统。

技术领域

本发明涉及车载视觉系统图像处理，计算机视觉技术领域，具体涉及一种 基激光雷达的可见光与近红外配准系统及配准方法。

背景技术

图像配准是对不同时刻、不同传感器、不同位置的图像进行图像匹配的方 法。图像配准技术是图像融合、图像拼接等视觉处理任务的前提基础，良好的 配准图像对后续处理任务具有重要影响。在机器人视觉导航、医学图像分析、 目标检测与识别等方向具有广泛的应用。

基于激光雷达点云的图像配准技术，通过照相机坐标系转换，排除错误特 征点对求解两源图像之间的仿射矩阵。

传统的图像配准方法是通过计算特征描述子来作为特征点对计算变换矩阵， 然而这种方法十分耗时，不适用于实时视觉处理系统，并且其传感器很有可能 受光照强度、环境变化等诸多因素影响。而激光雷达适应环境性强，稳定性好， 精度高。因此可以在复杂环境下保持其优势。

发明内容

本发明为解决现有技术采用多传感器图像配准速度慢、实时性差以及效率 低等问题，提供一种基于激光雷达的可见光与近红外配准系统及配准方法，以 挺高配准算法的效率，减少其配准时间。

基于激光雷达的可见光与近红外配准系统，包括可见光相机，近红外相机， 激光雷达，图像配准模块以及用于显示拼接图像与原图像的显示模块；其特征 是：

所述图像配准模块设置有输入端、输出端以及图像配准内部处理器，图像 配准内部处理器从输入端接收图像信息后使用图像配准算法进行运算，所述近 红外相机输出接口和可见光相机输出接口分别接入图像配准模块的输入端，所 述激光雷达的输出端口与图像配准模块输入端相连接；所述图像显示模块与图 像配准模块的输出端连接，用于显示配准前后的图像。

基于激光雷达的可见光与近红外配准方法，该配准方法基于激光雷达的可 见光与近红外配准系统实现，该配准方法具体由以下步骤实现：

步骤一、设定参考图像和待配准图像；

输入可见光图像VIS，近红外图像NIR，3D点云图像信息C_P，可见光相机 内参IS_VIS，可见光相机外参ES_VIS，近红外相机内参IS_NIR，近红外相机外参ES_NIR； 将所述可见光图像VIS作为待配准图像，将近红外图像NIR作为参考图像；

步骤二、将3D点云图像信息包含的点分别转换到近红外与可见光图像坐标 系：

根据世界坐标系到相机坐标系的矩阵关系为如下形式：

其中K为相机的内参，[R t]为相机的外参，X_W,Y_W,Z_W为3D点云图像采集 点处于世界坐标系的坐标，u,v为图像坐标系下坐标。Z_C为相机坐标系坐标。相 机的外参与内部属性没有关系。