[发明专利]一种基于热成像的道路路面积水结冰的检测方法及系统

权利要求书

1.一种基于热成像的道路路面积水结冰的检测方法，该方法用于市政路面的积水及结冰的病害检测，其特征在于，该检测方法包括如下步骤：

第一步，同位热红外与可见光图像采集，利用车载双光红外热像仪对市政路面进行视频拍摄，获取同一条道路的可见光视频与热红外视频；

第二步，热红外与可见光图像预处理与图像融合，在拍摄的视频数据中提取出重叠度为e的热红外图像和可见光图像，将热红外图像与可见光图像转化成灰度图，提取图中位置、尺度和方向的关键点作为特征点，为特征点计算建立描述子向量，计算特征描述子并对特征点进行匹配，在同一平面中根据热红外图像与可见光图像中多对匹配点计算单应矩阵，对选取的热红外图像和可见光图像中所有点进行匹配，进行图像视角转换，实现每对可见光图像与对的热红外图像的配准；

第三步，对融合图像特征进行数据标注，根据各自特征获得可见光图像与热红外图像的积水结冰区域的矩形框，对矩形框位置进行并集运算，人工复核删减非积水结冰区域，得到积水结冰区域的实际最小包围矩形与标注数据，分别处理可见光图像与热红外图像，综合提取两种图像的特征权重，并按照权重进行融合，使得标注数据与融合图像一一对应；

第四步，训练积水结冰自动识别模型，得到不同训练次数下的模型权重文件；

第五步，利用训练完成的自动识别模型，深度学习得到标注完成的融合图像，将后续巡检采集的视频数据进行自动识别，获得带有矩形框和标注数据的图片；

第六步，积水结冰病害的宽度和面积，根据可见光与热红外融合图像，确定积水结冰区域的具体边界线，根据像素点数与图片整体宽度像素点数比例计算积水结冰区域宽度和面积。

2.根据权利要求1所述的一种基于热成像的道路路面积水结冰的检测方法，其特征在于，所述第一步中同位采集热红外图形与可见光图像的过程包括有：

S11.校准双光红外热像仪，该双光红外热像仪上设有可采集热红外视频的摄像头和采集可见光视频的摄像头，根据拍摄角度α及对地面距离h计算视频长宽对应现实尺度为l×w，单位为mm，根据拍摄视频像素长宽m×n，单位为px，计算单位像素距离值单位像素面积值

S12.利用巡检车在市政道路上运动，其上的车载双光红外热像仪对路面进行视频拍摄，获取同一条路的可见光视频与热红外视频。

3.根据权利要求1所述的一种基于热成像和深度学习的道路路面积水及结冰的检测方法，其特征在于，所述第二步中图像预处理与图像融合的实现过程包括有：

S21.对拍摄的视频数据根据车速v(km/h)，拍摄间隔Δt(s)，提取出重叠度为e的热红外图像img1和可见光图像img2，并满足常量3600表示1小时3600秒，1000000表示1千米1000000毫米，该公式表示该车速下以前后两张图像的重叠度等于车辆行驶的距离，以完成对道路的完整覆盖；

S22.分别将一对热红外图像与可见光图像转化为灰度图，使用sift算法提取含有位置、尺度和方向的关键点即为特征点，提取特征点后为特征点计算建立一个描述子向量，描述子与特征点所在尺度有关，描述子向量为H＝(h₁，h₂，...，h₁₂₈)，常量128表示128维，去除光照影响后得到归一化后的特征向量L＝(l₁，l₂，...，l₁₂₈)，即计算特征描述子并对特征点进行匹配，即满足红外图像中关键点描述子向量R_i与可见光图像中需配对关键点描述子S_i间相似性度量,小于红外图像中关键点描述子与可见光图像中任一关键点描述子间相似性度量；

S23.假设匹配点在同一平面中，即Z＝0，根据热红外图像与可见光图像中4对以上匹配点对计算单应矩阵满足计算出单应矩阵后对热红外图像img1和可见光图像img2中所有点进行匹配，实现图像的配准；

S24.所有的可见光图像与对应的热红外图像对都采用相同的映射关系，其单应性矩阵不变，根据单应矩阵实现每对可见光图像与对应的热红外图像的配准。

4.根据权利要求3所述的一种基于热成像的道路路面积水结冰的检测方法，其特征在于，在图像融合后，若存在可见光图像和热红外图像画幅大小不同的情况，需对配准后的图像进行剪裁，得到对应两图像的交集部分。