[发明专利]固态激光雷达与热成像视觉融合的火源识别及定位方法

说明书

本发明公开了一种固态激光雷达与热成像视觉融合的火源识别及定位方法，采用将激光点云图像与热成像图像两者融合，通过基于热成像视觉与激光雷达点云配准、融合的火源识别与定位算法，将激光雷达点云的深度信息与热成像视觉的颜色信息结合，弥补了单一热成像没有火源位置信息的缺点。本发明的方法首先利用图像阈值化对热成像图像进行处理，解决热成像图像分辨率低的问题，接着将处理过后的热成像图像经过位姿变换对点云进行上色，解决了点云没有颜色信息的缺点，最终实现两个图像各个点的融合，获得具有深度信息和颜色信息的融合后图像，从而能根据融合后图像有效提高了火源识别及定位的精准性。

技术领域

本发明涉及一种火焰识别及定位方法，具体为一种固态激光雷达与热成像视觉融合的火源识别及定位方法，属于火灾预警及定位技术领域。

背景技术

火灾事故是各类灾害中发生最为频繁、具有较高危险性以及毁灭性的灾害之一，并且具有危害面广、破坏性大等严重问题，给社会生产和人民生命与财产安全带来很大损失。近年来，石油化工、超高压输变电系统、大型仓储物流园区等规模逐渐扩大，火灾隐患以及各种致灾因素大量增多，因此上述地方是火灾防范的重点场所。

传统的火灾探测技术通常根据火灾发生时的温度变化、燃烧气体成分、气溶胶等来探测火源。然而这些特征信号在空间传播过程中会逐渐减弱，而且受火场外围风速风向的影响很大，因此传统的火源探测方法准确度较低。随着数字图像处理技术的发展，基于图像和视频的火灾探测技术逐渐出现并加以应用。然而传统的火灾图像特征提取方法对不同火灾场景和火灾类型的判别能力较弱，识别精度较低。

利用深度学习框架对火焰进行识别检测以及使用多传感器融合进行火焰图像处理识别已成为当前较为常用的两类方法。有学者提出了一种基于卷积神经网络(Convolutional Neural Networks，CNN)的火焰边缘检测器，能够较好的生成边缘图和提取边缘图，但是火灾往往伴随着复杂的环境，极少出现单一火源的情况，这将会导致较大的识别误差。还有学者采用了CNN以及其改进模型结合视频流对火源进行特征提取，但是受限与网络的结构庞大并且对硬件配置的要求高，导致普通设备无法进行计算，对算法使用限制高。另外还有利用深度学习神经网络结合视频流，利用多任务学习策略来联合识别烟雾和估计光流，同时捕捉视频帧内外观特征和帧间运动特征。深度学习可以自适应地提取火源的特征，受环境影响较小，但是深度学习中大多利用视频流进行特征提取无法获得火源的深度信息，不能引导消防机器人进行灭火。

因此，仅使用热成像图像无法表征深度信息，而激光雷达图像无法获得温度信息，故需要采用图像融合策略将可见光与激光雷达图像融合。采用多传感器融合，利用各类传感器的数据特征对火源识别与检测是另一种主流的方法。现有利用多传感器融合的方法对火焰识别大多使用可见光视觉融合，而如果将红外热成像视觉与激光图像融合，则会由于激光图像和红外图像的差异性也限制了图像间的信息融合，受制于激光的线数，激光图像的精度与红外图像有着一定差别，并且激光图像物体清晰，边缘明显锐利，热成像图像成像模糊，区分度低，这使得直接将激光图像与热成像图像进行叠加融合存在困难，目前还没有较好的融合方法，因此如何能将激光图像与热成像图像两者融合，从而提高火焰识别及定位的精度，是本行业的研究方向之一。

发明内容

针对上述现有技术存在的问题，本发明提供一种固态激光雷达与热成像视觉融合的火源识别及定位方法，能较好地将激光点云图像与热成像图像两者融合，从而提高火焰识别及定位的精度。

为了实现上述目的，本发明采用的技术方案是：一种固态激光雷达与热成像视觉融合的火源识别及定位方法，具体步骤为：

A、在所需监控的场所分别安装固态激光雷达和热成像相机，并将固态激光雷达和热成像相机均与计算机连接，完成火焰识别及定位系统的布设工作；

B、采用计算机对热成像相机采用张正友标定法进行相机内参系数的标定；