[发明专利]基于深度学习和人工设计特征相结合的多源图像配准方法

摘要

本发明提供了一种基于深度学习和人工设计特征相结合的多源图像配准方法。首先采用传统的人工设计特征点提取方法来提取匹配点对，并利用改进的加权图变换算法去除误匹配点对；然后，以匹配点对坐标为中心，分别在基准图像和待配准图像中截取固定大小的图像块得到匹配图像块集合；接着，构建相似性度量深度卷积网络模型，并使用自建的多源匹配图像数据集对模型进行预训练，再利用前面获得的匹配图像块集合对预训练网络模型进行微调，得到最终的网络模型；最后，利用此网络对基准图像和待配准图像中的图像块进行相似性度量，计算变换矩阵，并完成图像配准。本发明方法结合了人工设计特征以及基于深度学习的特征度量，提高了图像配准的精度。

主权项

1.一种基于深度学习和人工设计特征相结合的多源图像配准方法，其特征在于步骤如下：步骤1：输入多源图像对，分别记为基准图像和待配准图像，采用传统人工设计特征点提取和匹配方法，分别对输入图像进行特征点提取和匹配，得到初步的特征点集P和P′，其中，P＝{p1,…,pN}是基准图像的特征点集合，P′＝{p′1,…,p′N}是待配准图像的特征点集合，两个集合中相同下标的两个元素pi和pi′为一对匹配点，i＝1,…,N，N为集合P中的特征点个数；步骤2：采用改进的加权图变换算法去除错误匹配点对，具体为：步骤2.1：以集合P中的特征点为顶点，当点p_i是点p_j的邻接特征点时，则有一条无向边(p_i,p_j)连接点p_i和p_j，同时令邻接矩阵A中的元素A(i,j)＝1；否则，点p_i和点p_j之间不存在无向边，并令邻接矩阵A中的元素A(i,j)＝0，其中，i＝1,…,N，j＝1,…,N，所有连接邻接特征点之间的无向边共同构成边的集合F_P。所述的邻接特征点需要满足条件：||p_i‑p_j||≤η，η为阈值，Rmedian(·)表示取迭代中位数，||p_i‑p_j||表示点p_i和点p_j空间上的欧式距离或马氏距离；对集合P′按此步骤上述过程构造得到其邻接矩阵A′和边的集合FP′；如果集合P中某个特征点上与之相连的无向边个数少于2，则从集合P中删除该特征点，并从集合FP中删除该特征点上的无向边，同时，对应从集合P′中删除与该特征点匹配的点，以及集合FP′中与该特征点匹配的点上的无向边；如果集合P′中某个特征点上与之相连的无向边个数少于2，则从集合P′中删除该特征点，并从集合FP′中删除该特征点上的无向边，同时，对应从集合P中删除与该特征点匹配的点，以及集合FP中与该特征点匹配的点上的无向边。此时，集合P中剩余特征点构成集合Vp＝{v1,…,vn}，集合P′中剩余特征点构成集合Vp′＝{v1′,…,vn′}，n为集合P中剩余特征点的个数，集合FP中剩余边构成集合EP，集合FP′中剩余边构成集合EP′，集合Vp中的点及其点之间的无向边共同构成中值K邻近图Gp＝(Vp,Ep)，集合Vp′中的点及其点之间的无向边共同构成中值K邻近图Gp′＝(Vp′,Ep′)；步骤2.2：构造得到权重矩阵W，如果集合Vp中特征点vi和vj之间没有无向边，则W(i,j)＝0，否则：其中，W(i,j)表示集合V_p中连接特征点v_i和特征点v_j的无向边的权值，v_i和v_j为集合V_p中的点，v_i′和v_j′为集合V_p′中的点，表示特征点v_i在图像上的坐标向量，表示特征点v_j在图像上的坐标向量，表示特征点在图像上的坐标向量，表示特征点v_i′在图像上的坐标向量，表示特征点v_j′在图像上的坐标向量，i＝1,…,n，j＝1,…,n；Rot(·)表示转向率，θ(·)表示求取两个向量间的夹角，其计算公式分别如下：其中，对于任意的坐标向量其中，υ_y，υ_x分别表示向量在x方向和y方向的坐标值；其中，(vi,vK)表示集合EP中连接点vi和vK的无向边，(vi,vj)表示集合EP中连接点vi和vj的无向边；然后，对于集合Vp和Vp′中的对应匹配的点对vi和vi′，如果vi′上的无向边的个数与vi上的无向边的个数的比值小于0.5，则将权重矩阵W中所有不对应的边的权值W(i,l)设为π，所述的不对应的边，是指(vi′,vl′)属于EP′，但(vi,vl)不属于EP的边，i＝1,…,n，l＝1,…,n；步骤2.3：对Vp中的每个特征点vi，i＝1,…,n，按照下式计算其权重：其中，M为特征点vi上的无向边的个数，median(·)表示取中位数；找到所有特征点的权重最大值ωmax，并从集合Vp中删除权重最大值ωmax对应的特征点，同时从集合Vp′中删除与该特征点匹配的点；然后，计算剩余所有特征点权重的均值μ，如果ωmax＜π且|μ‑μold|＜ε，则此时的特征点集合Vp和Vp′即为最终的特征点集合；否则，令μold＝μ，以此时的特征点集合Vp和Vp′作为初始特征点集合P和P′，返回步骤2.1；其中，μold的初始值为2π，阈值ε＝0.001；步骤3：以步骤2得到的最终特征点集合Vp和Vp′为基础，首先，计算两个集合中各匹配特征点对vi和vi′的尺度比值，并计算所有尺度比值的平均值作为相似尺度值，其中，i＝1,…,n1，n1为特征点集合Vp中最终剩余的特征点个数；然后，将待配准图像变换到基准图像的这个相似尺度上，并分别以各个特征点的坐标为中心分别在基准图像和待配准图像中截取65×65大小的匹配图像块，所有匹配图像块构成匹配图像块数据集；步骤4：构建多源图像块相似性度量深度卷积网络模型，该网络包括2层卷积层、2层池化层和3层全连接层，具体网络结构为：第1个卷积层使用32个大小为3×3×3的卷积核来进行卷积，得到的结果通过非线性激活函数RELU后送入第1个池化层；第1个池化层的池化核的大小为2×2，采用最大池化方法，池化的步长为2，得到结果送入第2个卷积层；第2个卷积层使用64个大小为3×3×3的卷积核来进行卷积，得到结果通过非线性激活函数RELU函数送入第2个池化层；第2个池化层与第1个池化层参数相同，得到结果送入第1个全连接层；在进入第1个全连接层前将第2个池化层输出的数据变为一维向量，经过第1个全连接层输出节点数量变为500，并送入第2个全连接层中；数据经过第2个全连接层输出节点数量变为10并送入第3个全连接层中；数据经过第3个全连接层输出一个一维向量，节点数为2；网络的损失函数采用对比损失函数，由正例部分和反例部分组成；步骤5：将多源图像匹配数据集的训练集数据输入到步骤4得到的多源图像块相似性度量深度卷积网络，采用Adam优化方法对网络进行迭代训练，得到预训练网络模型；所述的多源图像匹配数据集按如下方法构建得到：给定已有的已逐像素空间对齐后的多源图像数据集，在两幅匹配图像中分别以同一特征点空间坐标为中心截取65×65的图像块，得到匹配图像块，并设其标签为0，记为正样本；在两幅匹配图像中分别以任意不同空间坐标为中心截取65×65的图像块，得到不匹配图像块，并设其标签为1，记为负样本；所有正负样本共同构成多源图像匹配数据集，其中，每组数据包含两个图像块和一个标签；多源图像匹配数据集中的数据按照3:1:1的比例划分为训练集、测试集和验证集；步骤6：将多源图像匹配数据集的测试集数据中的所有样本标签均设置为0，并输入到步骤5得到的预训练网络模型，每组测试数据得到一个网络输出损失值，以能够最大程度将测试数据集中的正负样本分开的损失值为阈值T；步骤7：将多源图像块相似性度量深度卷积网络模型中除了全连接层外的所有其他层均固定使用步骤5得到的预训练模型中的参数，并以步骤3得到的匹配图像块数据集为输入，采用Adam优化方法对网络模型进行训练，训练时仅对全连接层的参数进行迭代优化，得到最终的网络模型；步骤8：以步骤1中的特征点集合P和P′为基础，首先，计算两个集合中各匹配特征点对pi和pi′的尺度比值，并计算所有尺度比值的平均值作为相似尺度值，其中，i＝1,…,N；然后，将待配准图像变换到基准图像的这个相似尺度上，并分别以各个特征点的坐标为中心在基准图像和待匹配图像中截取65×65大小的对应图像块，将这些对应图像块分别输入到步骤7得到的最终的网络模型中，如果得到的网络输出损失值小于阈值T，则输入的对应图像块对即为一对匹配的图像块，图像块的中心点坐标即为一对匹配的点对。利用所有匹配点对的坐标，使用最小二乘法计算得到变换矩阵H，利用变换矩阵H将待配准图像变换到基准图像坐标系下，完成图像配准。