[发明专利]一种电力巡检场景下的红外与可见光图像配准方法

权利要求书

1.一种电力巡检场景下的红外与可见光图像配准方法，其特征在于，包括以下步骤：

步骤S1:获取电力设备的红外图像与可见光图像；

步骤S2:通过Sobel边缘检测算子分别提取电力设备红外与可见光图像的边缘信息，得到红外与可见光的边缘图像；

步骤S3:采用SuperPoint特征提取网络分别检测两幅边缘图像的特征点并计算描述子；

步骤S4:根据步骤S3得到的两幅边缘图像的特征点，通过SuperGlue特征匹配网络对特征点进行匹配，筛选得出正确的特征点匹配对，同时剔除不可匹配的特征点；

步骤S5:根据匹配特征点对计算仿射变换模型参数，通过双线性插值对待配准图像进行空间坐标变换，实现图像配准；

所述步骤S4具体为：

步骤S41:通过SuperPoint检测红外边缘图像与可见光边缘图像的特征点位置p并计算描述子d后，两幅图像分别提取到M和N个特征点，分别表示为A＝{1,...,M},B＝{1,...,N}；对于红外边沿图像将检测到的特征点位置和描述子结合形成特征匹配向量，向量的初始表示形式为：

其中MLP为多层感知编码器，将特征点位置嵌入到高维向量，然后将升维后的向量与描述子相加；对可见光边缘图像的特征点位置和描述子有着相同的处理；

步骤S42:使用多层图神经网络，在每一层中对特征点i聚合无向边ε_self或ε_cross的信息，并计算更新向量的表示形式；ε_self将特征点连接到同一图像中的所有其它特征点，ε_cross将特征点连接到另一幅图像中的所有特征点，表示红外边缘图像的向量在第l层的中间表示形式，m_ε→i是所有特征点{j:(i,j)∈ε}聚合的结果，ε∈{ε_self,ε_cross}；

向量计算更新为：

其中[·||·]表示为串联操作，从l＝1层开始，当l为奇数时ε＝ε_self，当l为偶数时ε＝ε_cross；通过沿着图像内边缘ε_self和图像间边缘ε_cross交替聚合更新，模拟人类来回浏览判断特征匹配的过程；红外边缘图像中的每个特征点i经过层数L图神经网络后，得到特征匹配向量f_i^A

其中W和b为权重和偏差，可见光边缘图像相应可得到特征匹配向量

步骤S43:两幅图像的特征点对应关系必须遵守预设物理约束条件：1)一个特征点在另一幅图像中至多只能有一个对应关系；2)由于遮挡因素，某些特征点将无法匹配；因此，图像间特征点的匹配应是两组特征点集之间的部分分配，对红外与可见光边缘图像的M和N个特征点建立部分分配矩阵P∈[0,1]^M×N，表示两幅图像特征点所有可能的匹配，每个可能的对应关系都具有置信度值，用来表示其正确匹配的可能性，并有如下约束：

P*1_N＜1_M and P^T*1_M＜1_N

首先计算特征匹配向量f_i^A和的内积得到特征匹配得分矩阵S_i,j，特征分配矩阵P可以通过在约束条件下最大化的总得分得到；视为最优传输问题，通过Sinkhorn算法迭代求解出最终的特征分配矩阵P；

将得分矩阵S扩充一个通道变为矩阵多余的通道用滤除未匹配的特征点；

约束条件变为：

其中通过Sinkhorn算法迭代若干次后，将额外的1个通道去除，将特征分配矩阵恢复为P_M×N。