[发明专利]基于伪孪生网络的线特征描述方法

权利要求书

1.一种基于伪孪生网络的线特征描述方法，其特征在于，该方法包括以下步骤：

步骤S1：构造用于线特征描述网络训练的数据集；

所述步骤S1具体方式包括步骤S11、S12、S13和S14；

步骤S11：拍摄不同场景且不同视角和旋转角度的图像并对其做压缩、光照和噪音等变换，以形成同一场景不同变换的图像对；

步骤S12：利用Canny边缘检测算子提取图像中的直线；

步骤S13：获取正确匹配直线对，对于任一图像对，利用均值-标准差线描述子进行直线匹配，获取图像对中的匹配直线对，然后人工剔除错误匹配，获得图像对中的正确匹配直线对集合{(L_j,L_j′),j＝1,2,...,N_L}，其中L_j表示图像对中第1幅图像中的直线，L_j′表示图像对中第2幅图像中与L_j正确匹配的直线，N_L为匹配直线对的个数；

步骤S14：确定直线对应的图像块，对于任一由Num(L)个点组成的直线L，记L上任一像素点为P_k，k＝1,2,...,Num(L)，将以P_k为中心、沿直线L方向和直线L垂直方向的长度均为64的方形区域定义为点P_k的支撑区域，点P_k支撑区域的亮度值矩阵记为I(P_k)，计算直线L的均值矩阵M(L)＝Mean(I(P₁),I(P₂),...,I(P_Num(L)))和标准差矩阵STD(L)＝Std(I(P₁),I(P₂),...,I(P_Num(L)))，其中Mean表示计算矩阵的均值，Std表示计算矩阵的标准差，记直线L对应的64×128的归一化矩阵为其中A_L(:,1:64)＝M(L)，A_L(:,65:128)＝STD(L)；

步骤S2：搭建用于线特征描述的全卷积伪孪生网络，搭建具有两个分支的全卷积神经网络，每个分支都是一个独立的L2-Net，将最后一层卷积核的大小由8×8修改为8×16，卷积核个数由128修改为256，其他设置与L2-Net相同，将两个分支网络末端进行特征拼接，获得用于线特征描述的全卷积伪孪生网络，记为CS PSLTL-Net，其中两个分支前六层利用在数据集Liberty上预训练好的L2-Net的模型参数来初始化，CS PSLTL-Net中两个分支最后一层的参数值使用Pytorch中默认的初始化值；

步骤S3：利用线匹配数据集对网络CS PSLTL-Net进行训练；

步骤S4：利用步骤S3获取的网络参数更新网络CS PSLTL-Net的参数值；

步骤S5：重复步骤S3、S4，直到参数更新达到指定的次数；

步骤S6：获取输入直线的描述子，对于给定的任一图像对，将根据步骤S12、S14获取的图像中任一直线对应的图像块输入到步骤S5获得的全卷积伪孪生网络中，即可输出该直线的描述子。

2.如权利要求1所述的基于伪孪生网络的线特征描述方法，其特征在于，具体方式包括步骤S31、S32和S33:

步骤S31：获取训练子集，从步骤S1获得的线匹配数据集中随机选取n对匹配直线，将直线对应的归一化矩阵合并为其中为直线L_j对应的归一化矩阵，为直线L_j′对应的归一化矩阵，直线L_j和L_j′为匹配直线对；

步骤S32:计算网络输出特征向量，对于步骤S31获取的任一直线的归一化矩阵对的均值矩阵M(L)和标准差矩阵STD(L)分别做下采样后再拼接，获得32×64的矩阵将作为网络CS PSLTL-Net第一个分支的输入；提取的均值矩阵M(L)、标准差矩阵STD(L)的中心区域M_c(L)＝M(L)(32-15:32+16,32-15:32+16)、STD_c(L)＝STD(L)(32-15:32+16,32-15:32+16)，获得32×64的矩阵将作为网络CS PSLTL-Net第二个分支的输入；将两个分支的输出特征向量拼接在一起获得输入直线对应的输出特征向量；

步骤S33：对网络参数进行调整，对于步骤S31中任一匹配直线对的归一化矩阵和根据步骤S32获得对应的输出特征向量a_i，根据步骤S32获得对应的输出特征向量b_i；计算大小为n×n的距离矩阵D，其中计算三元组损失函数其中代表最接近a_i的非匹配描述子，j_min＝argmin_{j＝1...n,j≠i}d(a_i,b_j)，代表最接近b_i的非匹配描述子，k_min＝arg min_{k＝1...n,k≠i}d(a_k,b_i)，根据Loss函数利用随机梯度下降法获取新的网络模型参数。