[发明专利]基于孪生网络的双目视觉图像焊缝位置匹配方法

说明书

本发明涉及图像处理与智能交互技术领域，公开了一种基于孪生网络的双目视觉图像焊缝位置匹配方法，所述的方法包括：提取双目相机所采集的左右视图并进行预处理；使用全卷积神经网络对输入图像进行特征提取，得到小尺度特征图；使用通道间注意力机制对特征图中的特征进行加权；将左右视图进行匹配，使用孪生网络得到相关性分布；通过使用改进的KL‑divergence与相似性网络求解相关分布与样本标签分布相似度；对孪生网络的损失函数进行了进一步的改进，利用公共数据集对网络进行训练，得到基于孪生网络的焊缝位置匹配模型；利用基于孪生网络的焊缝位置匹配模型进行焊缝定位。通过本申请，可以实现焊缝位置的准确识别，从而提高加工质量。

技术领域

本发明涉及图像处理与智能交互技术领域，具体涉及一种基于孪生网络的双目视觉图像焊缝位置匹配方法。

背景技术

随着制造业逐渐转型，由原来的人工操控机械升级为智能制造，焊接机器人的使用性和功能性也逐步提升。而焊接机器人是从事焊接(包括切割与喷涂)的工业机器人。根据国际标准化组织(ISO)工业机器人属于标准焊接机器人的定义，工业机器人是一种多用途的、可重复编程的自动控制操作机(Manipulator)，具有三个或更多可编程的轴，用于工业自动化领域。为了适应不同的用途，机器人最后一个轴的机械接口，通常是一个连接法兰，可接装不同工具或称末端执行器。焊接机器人就是在工业机器人的末轴法兰装接焊钳或焊(割)枪的，使之能进行焊接，切割或热喷涂。

由于焊接是一个高度非线性、多变量、多种不确定因素作用的过程，使得控制焊缝成形质量极为困难。实现稳定、优质、高效的焊接是应用焊接机器人的意义所在也是机器人焊接领域研究的重要课题。为了克服上述因素对焊接质量的影响，机器人焊接领域迫切需要将控制技术、信息和传感技术、人工智能等多学科知识进行融合，实现焊接初始位置的自主识别、焊缝实时跟踪、焊接参数自适应调节等功能，以确保焊接质量和提高焊接效率。因此，需要一种利用孪生网络计算双目相机视差之间的相关分布从而估计焊缝位置的算法。

发明内容

本发明的目的在于提供一种基于孪生网络的双目视觉图像焊缝位置匹配方法，以解决上述背景技术中所提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于孪生网络的双目视觉图像焊缝位置匹配方法，所述的方法包括：

提取双目相机所采集的左右视图并进行预处理，所述的预处理为在每幅图像上建立均匀分布的16个块；

使用全卷积神经网络对输入图像进行特征提取，得到小尺度特征图；

使用通道间注意力机制对特征图中的特征进行加权；

将左右视图进行匹配，使用孪生网络得到相关性分布，认定左右视图中的一个视图的特征图为原始图像，则另一个视图的特征图为匹配图像，建立原始图像中每一个块与匹配图像中所有的块的相关性，得到16*16的相关性矩阵，并通过非线性函数将其转换为相关性分布；

通过使用改进的KL-divergence与相似性网络求解相关分布与样本标签分布相似度；

对孪生网络的损失函数进行了进一步的改进，利用公共数据集对网络进行训练，得到基于孪生网络的焊缝位置匹配模型；

利用基于孪生网络的焊缝位置匹配模型进行焊缝定位。

作为本发明进一步的方案，在利用全卷积网络对每个块进行特征提取的过程中，集中得到尺寸较小的特征图，特征图中的每一个像素都对应输入图像的一个块。

作为本发明进一步的方案，所述的通道间注意力机制方法为Squeeze-and-Excitation单元，通过Squeeze-and-Excitation单元使得在学习过程中，聚焦关键特征而忽略次要特征，以此来提高学习效率，将卷积网络的输出特征通过压缩到通道维，从而生成权重，最后将权重与对应通道相乘得到加权后的特征。