[发明专利]基于鲁棒匹配与变换的红外可见光图像配准方法及系统

说明书

本发明提供一种基于鲁棒匹配与变换的红外可见光图像配准方法及系统，包括使用鲁棒的特征点检测算法与特征描述子提取待配准的红外与可见光图像的特征描述子集合，并建立初始匹配；使用特征点邻域结构稳定性的约束滤除错误匹配，根据特征点的匹配关系鲁棒估计待匹配图像之间的仿射变换模型的参数，采用插值方式对红外图像进行变换，完成配准。本发明考虑了红外与可见光图像的模态差异与尺度差异，并在特征匹配的过程中利用特征点邻域结构的稳定性滤除错误匹配，使用基于一致空间约束的参数估计得出变换模型的参数，对于不同模态的图像特征提取以及受较强噪声影响的特征匹配均具有鲁棒性。

技术领域

本发明涉及图像配准技术领域，具体地说，本发明涉及基于PIIFD(partialintensity invariant feature descriptor，局部灰度不变特征描述子)与鲁棒变换估计的红外可见光图像配准技术方案。

背景技术

图像配准是图像处理领域的一项重要技术，就是将不同时间、不同传感器(成像设备)或不同成像条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程。图像配准的关键在于寻找两幅或多幅图像间的空间域的变换关系，从而使图像上的对应点在不同图像上的坐标得到统一。

在过去的几十年里，学者们研究了很多方法来解决图像配准问题。从特征提取的角度来说，传统的SIFT方法(D.Lowe,Distinctive image features from scale-invariant keypoints,International Journal of Computer Vision,vol.60,no.2,pp.91-110,2004)，ORB方法(E.Rublee,V.Rabaud,K.Konolige,and G.Bradski,ORB:Anefficient alternative to SIFT or SURF,in ICCV,2011,pp.2564-2571)以及SURF方法(H.Bay,T.Tuytelaars,and L.V.Gool,Surf:Speeded up robust features,inProc.9th Eur.Conf.Comput.Vis.,2006,pp.404-417)在同模态的图像配准任务中取得了非常好的效果，但在多模态图像配准任务中几乎完全失效。PIIFD描述子(J.Chen,J.Tian,N.Lee,J.Zheng,R.T.Smith,and A.F.Laine,A partial intensity invariant featuredescriptor for multimodal retinal image registration.IEEE Transactions onBiomedical Engineering 57,1707(2010))的提出使得在不同模态的图像之间提取共有的特征成为可能。然而PIIFD设计的初衷是视网膜图像的匹配，因此没有考虑图像的尺度差异，难以直接用于红外与可见光配准领域。

从特征匹配的角度来说，这些方法大致可以分为两类：基于区域的匹配方法和基于特征的匹配方法。前者通过搜索两幅图像中一定区域内原始灰度值的相似程度来寻找匹配信息；后者则利用局部特征的描述子相似性或空间几何约束来寻找匹配点对。在具有少量显著细节的情况中，灰度值提供的信息比局部形状和结构要多，从而基于区域的方法的匹配效果更好。但是基于区域的方法计算量大，且在图像失真和光度改变的情况下并不适用。相反，特征方法具有更好的鲁棒性，可以处理复杂失真的图像，得到广泛的应用。

如何寻找两幅图像中对应的匹配点，形成匹配点对，并确保匹配点对的正确性是图像匹配方法的关键。

基于区域的匹配方法主要有相关法、傅里叶方法和互信息法三种。相关法的主要思想是计算两幅图像中对应窗的相似性，然后将具有最大相似程度的一对作为匹配点对。但相关法在相似性不显著的无纹理区域无法适用，且计算复杂。傅里叶方法利用了图像在频率域的傅里叶表示。与传统的相关方法相比，这种方法在计算效率更高并且对频率类噪声具有很好的鲁棒性。然而，这种方法在处理具有不同谱结构的图像具有一定限制性。互信息法尽管其匹配效果良好，但是它无法得到整个搜索空间中的全局最大值，因此不可避免的会减低它的鲁棒性。