[发明专利]基于伪孪生网络的线特征描述方法

说明书

本发明涉及一种基于伪孪生网络的线特征描述方法，包括：步骤S11：获取同一场景不同变换的图像对；步骤S12：检测图像中的直线；步骤S13：获取正确匹配直线对；步骤S14：确定直线对应的图像块；步骤S2：搭建用于线特征描述的全卷积伪孪生网络；步骤S31：获取训练子集；步骤S32：计算网络输出特征向量；步骤S33：对网络参数进行调整；步骤S4：更新网络参数值；步骤S5：参数迭代更新至指定的次数；步骤S6：获取输入直线的描述子。本发明提供的方法可获得具有强区分性的描述子。

技术领域

本发明涉及图像特征描述的技术领域，特别是一种基于伪孪生网络的线特征描述方法。

背景技术

图像局部特征描述和匹配作为图像处理和计算机视觉领域的基本研究问题之一，在三维重建、宽基线匹配、全景拼接以及图像检索等很多场景中都有广泛的应用。近年来相关研究学者提出了许多图像特征描述的方法，总结起来主要分为两类：一类是基于手工设计的描述子方法，另一类是基于学习的描述子方法。大多数的方法都是把局部区域描述成一个具有唯一性的特征描述子，其中手工设计方法中最经典的就是SIFT描述子。一般认为，性能较好的特征描述子对于匹配块而言在光照、模糊和形变等的变化下是具有不变性的，对于非匹配块而言是具有强区分性的。

近年来，由于手工设计描述子的快速发展、深度学习的出现给各个领域带来了革命性的变化，以及文献中提供的大规模的点匹配数据集，出现了一系列基于学习的点特征描述子，其中有Zagoruyko等人提出了多种块匹配神经网络模型包括孪生网络和双通道网络等等，并且对比了多种块匹配的网络性能；2017年Tian等人提出了基于全卷积结构的CNN模型L2-net，L2-net的训练是建立在渐进式抽样策略和由三个误差项组成的损失函数之上，并且他们通过优化批次中描述子之间的相对距离来训练L2-net，模型输出的描述子通过L2距离进行匹配；以及Anastasiya Mishchuk等人受到Lowe的SIFT匹配标准的启发提出了三元组损失应用于L2-net架构的一个名为HardNet的紧凑描述子。然而，直线特征也是最重要的图像特征之一，其在诸多应用场景中都是必不可少的。例如在一些低纹理场景当中，只有局部点特征和区域特征是不够的。相反，在这些场景中，线特征却具有较丰富的信息。但遗憾的是，与点特征描述子相比，文献中线特征描述子发展缓慢，仍然停留在手工设计的阶段。主要原因有：一个是深度全卷积神经网络依赖于大量有标签的训练样本，二是构造大量的有标签训练样本又需要大量的人力和财力，三是有标签训练样本过少而引发的过拟合现象，四是直线的端点不确定、直线局部邻域缺乏丰富的纹理等原因。

发明内容

本发明针对上述问题和为了使直线描述子在大量图像变化上都有更好的稳定性和鲁棒性，目的是提供一种具有更强稳定性和区分性的基于学习的直线描述子。为了实现本目的，基于伪孪生网络的线特征描述方法，包括以下步骤：

步骤S1：构造用于线特征描述网络训练的数据集；

步骤S11：获取同一场景不同变换的图像对；

步骤S12：检测图像中的直线；

步骤S13：获取正确匹配直线对；

步骤S14：确定直线对应的图像块；

步骤S2：搭建用于线特征描述的全卷积伪孪生网络；

步骤S3：利用线匹配数据集对网络进行训练；

步骤S31：获取训练子集；

步骤S32：计算网络输出特征向量；

步骤S33：对网络参数进行调整；

步骤S4：更新网络参数值；

步骤S5：参数迭代更新至指定的次数；

步骤S6：获取输入直线的描述子。