[发明专利]固态激光雷达与热成像视觉融合的火源识别及定位方法

权利要求书

1.一种固态激光雷达与热成像视觉融合的火源识别及定位方法，其特征在于，具体步骤为：

A、在所需监控的场所分别安装固态激光雷达和热成像相机，并将固态激光雷达和热成像相机均与计算机连接，完成火焰识别及定位系统的布设工作；

B、采用计算机对热成像相机采用张正友标定法进行相机内参系数的标定；

C、采用计算机将热成像相机和固态激光雷达的时钟源统一，接着将两者的采样时间戳进行对齐，完成热成像相机和固态激光雷达的时间同步；

D、开始进行火源识别及定位时，通过固态激光雷达和热成像相机分别开始采集雷达点云图像和热成像图像，并将采集的图像均传递给计算机；

E、采用计算机求解获得热成像相机与固态激光雷达联合标定的外参；

F、计算机先选择步骤D采集的一帧热成像图像，然后对该帧图像进行二进制阈值化处理；

G、计算机根据步骤F处理后的一帧热成像图像选择出与该帧热成像图像时间同步的一帧雷达点云图像，然后根据步骤E确定的外参使雷达点云图像每个点云点进行坐标变换后与该帧热成像图像一一对应，实现两个图像各个点的融合，最终获得具有深度信息和颜色信息的融合后图像；

H、根据步骤G获得的融合后图像，确定火源范围及位置。

2.根据权利要求1所述固态激光雷达与热成像视觉融合的火源识别及定位方法，其特征在于，所述步骤B中进行相机内参系数的标定具体为：

设热成像相机拍摄的图像中每个点像素坐标为[u，v]^T，设O-x-y-z为相机坐标系，通过针孔模型中的针孔投影之后，现实世界的空间点P[X^′,Y^′,Z^′]在成像平面上的坐标为P_camera[X,Y,Z]，相机焦距为f，那么有

在物理成像平面设定一个像素平面o-u-v，在像素平面下得到P^′的像素坐标：[u，v]^T；原o位于图像的左上角，u轴向右与x轴平行，v轴向下与y轴平行；像素坐标在u轴上缩放了α倍，在v轴上缩放了β倍，同时，原点平移[c_x，c_y]^T.那么，P′的坐标与像素坐标[u，v]^T的关系为

并且令αf＝f_x，βf＝f_y，则有

将该式改写为矩阵形式，用到齐次坐标得出

式(4)中K为相机的内参，从而计算得出热成像相机的内参系数。

3.根据权利要求1所述固态激光雷达与热成像视觉融合的火源识别及定位方法，其特征在于，所述步骤E中联合标定外参的具体过程为：

设热成像每个像素点为[u，v]^T，雷达点云图像每个像素点为P[X′,Y′,Z′]，求解热成像相机与固态激光雷达之间的外参

根据公式(5)能得出外参的值。

4.根据权利要求1所述固态激光雷达与热成像视觉融合的火源识别及定位方法，其特征在于，所述步骤F进行二进制阈值化处理的具体过程为：

设一帧热成像图像中每一像素点的温度为T_(x,y)，单位为℃，设每一像素点对应的RGB值为C_(x,y)(i,j,k)，设阈值为ε，按照如下规则对该帧热成像图像的每一像素点进行RGB重新赋值：

当某一像素点的温度T_(x,y)大于等于阈值ε时，将该像素点对应的RGB值重新赋值为(255，0，0)，否则，保持该像素点的RGB值，当完成该帧热成像图像的所有像素点处理后，完成该帧热成像图像的二进制阈值化处理。

5.根据权利要求1所述固态激光雷达与热成像视觉融合的火源识别及定位方法，其特征在于，所述步骤G中雷达点云图像每个像素点进行坐标变换的具体过程为：

根据已经获得的热成像相机的内参K和热成像相机与固态激光雷达联合标定的外参则激光雷达的每一个雷达点云点P_lidar＝(x,y,z)转换到相机坐标系的坐标，具体转换过程为：

通过上述变换可以将热成像图像的像素点与点云点P_lidar＝(x,y,z)对应，从而使雷达点云图像每个点云点进行坐标变换后与该帧热成像图像一一对应，实现两个图像各个点的融合，最终获得具有深度信息和颜色信息的融合后图像。