[发明专利]基于激光雷达的可见光与近红外配准系统及配准方法

权利要求书

1.基于激光雷达的可见光与近红外配准系统，该配准系统包括可见光相机，近红外相机，激光雷达，图像配准模块以及用于显示拼接图像与原图像的显示模块；其特征是：

所述图像配准模块设置有输入端、输出端以及图像配准内部处理器，图像配准内部处理器从输入端接收图像信息后使用图像配准算法进行运算，所述近红外相机输出接口和可见光相机输出接口分别接入图像配准模块的输入端，所述激光雷达的输出端口与图像配准模块输入端相连接；所述图像显示模块与图像配准模块的输出端连接，用于显示配准前后的图像。

2.根据权利要求1所述的基于激光雷达的可见光与近红外配准系统，其特征在于：所述近红外相机包括GIGE输出接口，+6～+24V DC电源接口，近红外镜头以及近红外传感器；所述电源接口为近红外传感器提供电能，GIGE输出接口用于传输采集的近红外图像至图像配准模块，近红外镜头用于接收和汇聚被测目标的近红外的图像信息。

3.根据权利要求1所述的基于激光雷达的可见光与近红外配准系统，其特征在于：所述可见光相机包括GIGE输出接口，12V DC电源接口，可见光镜头以及可见光传感器；所述电源接口为可见光传感器提供电能，GIGE输出接口用来传输采集的可见光图像至图像配准装置，可见光镜头用于捕捉可见光频段的彩色图像信息。

4.根据权利要求1所述的基于激光雷达的可见光与近红外配准系统，其特征在于：所述激光雷达包括GIGE输出接口，24V DC电源接口及激光扫描传感器；所述激光扫描传感器用于扫描周围环境信息，产生3D点云图像；GIGE输出接口用于传输所述3D点云图像至图像处理内部处理器。

5.基于激光雷达的可见光与近红外配准方法，其特征是：该配准方法基于权利要求1-4任意一项所述的基于激光雷达的可见光与近红外配准系统实现，该配准方法具体由以下步骤实现：

步骤一、设定参考图像和待配准图像；

输入可见光图像VIS，近红外图像NIR，3D点云图像信息C_P，可见光相机内参IS_VIS，可见光相机外参ES_VIS，近红外相机内参IS_NIR，近红外相机外参ES_NIR；将所述可见光图像VIS作为待配准图像，将近红外图像NIR作为参考图像；

步骤二、将3D点云图像信息包含的点分别转换到近红外与可见光图像坐标系：

根据世界坐标系到相机坐标系的矩阵关系为如下形式：

其中K为相机的内参，[R t]为相机的外参，X_W,Y_W,Z_W为3D点云图像采集点处于世界坐标系的坐标，u,v为图像坐标系下坐标。Z_C为相机坐标系坐标。相机的外参与内部属性没有关系。

将可见光相机内参IS_VIS外参ES_VIS和近红外相机内参IS_NIR外参ES_NIR分别带入上式，然后构建3D点云图像与可见光以及近红外图像上的图像坐标之间的关系，并进行归一化处理，具体如下式：

式中，P_VIS,P_NIR为点云信息点在两相机图像上的坐标，P_VIS为可见光相机的特征点，P_NIR为可见光相机的特征点；

步骤三、对获得的特征点进行筛选；

设置边界阈值剔除超出边界以及在边界上的特征点，具体表达式如下：

式中，C∈(RGB,NIR)，(X_P，Y_P)为P_VIS，P_NIR的特征点坐标，M_C,N_C为两相机采集图像的尺寸,代表逻辑与运算；保留所有涵盖在图像内的特征点，去除超出边界及在边界上的特征点，获得筛选后的特征点LP_VIS,LP_NIR；

步骤四、根据步骤三获得筛选后的特征点LP_VIS,LP_NIR求取待配准图像VIS及参考图像NIR之间的单应矩阵，然后根据所求的单应矩阵对待配准图像进行仿射变换获得最终的配准图像。