[发明专利]基于红外和可见光图像配准的接触网部件温度检测方法

权利要求书

1.基于红外和可见光图像配准的接触网部件温度检测方法，其特征在于，包括：

步骤一，获取接触网运行状态过程中的原始图像以及对应的红外温度信息，所述的原始图像包括可见光图像、对应的红外图像,并将红外图像渲染为伪彩红外图像；

步骤二，伪彩红外图像和可见光图像分别与各自的手工特征构成图像对，通过得到的图像对构建的Keynet模型进行训练，得到训练后的Keynet模型；

步骤三，通过训练后的Keynet模型提取出接触网运行状态过程中的可见光图像及对应的红外图像各自的特征点，组成特征点候选匹配对集合M；

步骤四，对于特征点候选匹配对集合M，采用局部邻域选择与过滤选择设定数量的种子点组成匹配对子集合以种子点为中心选定圆形区域，在圆形区域内从匹配对子集合M*中选择与该种子点在同一个区域的匹配的特征点；

步骤五，根据匹配的特征点在两幅图像的像素坐标计算单应性矩阵，基于透视变换对可见光图像进行矫正，使得可见光图像中的关键部件的坐标与红外图像中的坐标对齐；

步骤六，获取矫正后的可见光图像与采集的可见光图像，标注图像中关键部件的位置；在标注完成后，将图片划分为训练集、验证集和测试集，使用数据增强扩充训练集数量；选用轻量化模型Picodet，调节配置参数，对模型进行迭代训练，通过学习好的模型对矫正后的可见光图像进行检测，获取关键部件的检测框坐标；

步骤七，在获取矫正后的可见光图像中的接触网关键部件的检测框坐标后，得到该部件在红外图像中的位置信息，依据位置信息获取该检测区域的温度信息，该区域内的最高温度作为该部件的温度信息。

2.根据权利要求1所述的基于红外和可见光图像配准的接触网部件温度检测方法，其特征在于，所述的Keynet模型，包括图像金字塔模块、孪生网络特征提取模块、手工设计特征模块；其中图像金字塔模块为对于原始图像进行多次下采样，与原始图像共同组成图像组作为自监督学习网络的多级输入；所述的孪生网络特征提取模块为对于网络的多级输入采用相同结构的孪生网络，共享权重，分别提取各分辨率下的图像特征，权重参数通过迭代训练更新；手工设计特征模块通过对原始图像计算一阶和二阶导数获得手工特征，与学习特征串联用作孪生网络的输入，最终获得关键点响应图。

3.根据权利要求2所述的基于红外和可见光图像配准的接触网部件温度检测方法，其特征在于，所述的特征匹配算法为AdaLAM，采用局部邻域选择与过滤选取种子点和采用自适应仿射验证进行特征点匹配，在分别提取到红外图像和可见光图像的特征点后，对各自所提取的特征点进行逐一匹配。

4.根据权利要求3所述的基于红外和可见光图像配准的接触网部件温度检测方法，其特征在于，所述的局部邻域选择与过滤在选取种子点时需要附近的点满足条件匹配，包括：

假设表示为匹配集合S中第i组匹配对，对于任意匹配(p₁,p₂)＝((x₁,d₁,σ₁,α₁),(x₂,d₂,σ₂,α₂))∈M,其中d表示描述子，若上述匹配满足如下约束关系，则被纳入到支持种子点的匹配集合N_i∈M中，约束关系为：

式中α^p＝α₂-α₁,σ^p＝σ₂/σ₁表示两个匹配点之间的角度与尺度差异；R₁与R₂分别表示图像I₁与I₂的种子点扩散半径；λ表示领域圆形区域的覆盖程度的正则项。