[发明专利]基于孪生网络的双目视觉图像焊缝位置匹配方法

权利要求书

1.一种基于孪生网络的双目视觉图像焊缝位置匹配方法，其特征在于，所述的方法包括：

提取双目相机所采集的左右视图并进行预处理，所述的预处理为在每幅图像上建立均匀分布的16个块；

使用全卷积神经网络对输入图像进行特征提取，得到小尺度特征图；

使用通道间注意力机制对特征图中的特征进行加权；

将左右视图进行匹配，使用孪生网络得到相关性分布，认定左右视图中的一个视图的特征图为原始图像，则另一个视图的特征图为匹配图像，建立原始图像中每一个块与匹配图像中所有的块的相关性，得到16*16的相关性矩阵，并通过非线性函数将其转换为相关性分布；

通过使用KL-divergence与相似性网络求解相关分布与样本标签分布相似度；

对孪生网络的损失函数利用公共数据集对网络进行训练，得到基于孪生网络的焊缝位置匹配模型；

利用基于孪生网络的焊缝位置匹配模型进行焊缝定位。

2.根据权利要求1所述的基于孪生网络的双目视觉图像焊缝位置匹配方法，其特征在于，在利用全卷积网络对每个块进行特征提取的过程中，集中得到尺寸较小的特征图，特征图中的每一个像素都对应输入图像的一个块。

3.根据权利要求2所述的基于孪生网络的双目视觉图像焊缝位置匹配方法，其特征在于，所述的通道间注意力机制方法为Squeeze-and-Excitation单元，通过Squeeze-and-Excitation单元使得在学习过程中，聚焦关键特征而忽略次要特征，以提高学习效率，将卷积网络的输出特征通过压缩到通道维，从而生成权重，最后将权重与对应通道相乘得到加权后的特征。

4.根据权利要求3所述的基于孪生网络的双目视觉图像焊缝位置匹配方法，其特征在于，利用孪生网络建立相关分布的过程中，同时认定输入相同图像得到单位矩阵，即转换后概率分布不变，设定为标签分布ζ，其中为使孪生网络的输出能建立相关分布需要满足以下条件：

(1)输入图像相同时，等于ζ；

(2)对应块的相关性越强，概率值越大；

(3)概率化后，中的每一个元素的值域为[0,1]，且每行元素累加为1；

(4)输入图像对越相似，越接近ζ。

5.根据权利要求4所述的基于孪生网络的双目视觉图像焊缝位置匹配方法，其特征在于，在孪生网络的建立过程中，包括：

上式中，X_i、X_j、X分别表示……，i、j、k分别表示……；

对于条件(1)，使用减法运算得到基本相关矩阵，其中行和列分别代表块在原始图像和匹配图像中的位置坐标，元素值代表着相关性，此时，相关性越强，元素值越小，输入图像相同时，相关性最强，元素值为0；对于条件(2)，使用式(1)高斯函数进行值域空间的变换，同时高斯函数增加了整体的非线性；对于条件(3)，使用式(2)的softmax函数，沿矩阵行方向对基本相关矩阵进行概率化，得到相关分布即对于原始图像中的每一个块进行分类，对应类别则是匹配图像的块。

6.根据权利要求5所述的基于孪生网络的双目视觉图像焊缝位置匹配方法，其特征在于，改进的KL-divergence包括对使用坐标对差异值进行加权，而只有分布φ和ζ的单峰附近位置的差异值会被加权，其它位置则被屏蔽，最后通过积分，衡量分布之间的相似程度，由于图像上的坐标具有不同的方向性，分别按照不同方向进行加权，使用曼哈顿距离计算总距离，如式(3)所示：

D越小表示分布ζ越接近于分布φ，d越大表示分布ζ与分布φ差异越大；其中，x、y、p(x)、p(y)、q(x)、q(y)分别表示……。

7.根据权利要求6所述的基于孪生网络的双目视觉图像焊缝位置匹配方法，其特征在于，相似性网络Similar_network使用全链接网络，求解条件概率P(S|φ)，如式(4)：

P(S|φ)＝Similar_network(φ) (4)；

用相关分布φ与标签分布ζ的残差值代替φ作为输入。