[发明专利]基于深度学习的激光焊接焊缝特征点识别方法及装置

说明书

本发明公开一种基于深度学习的激光焊接焊缝特征点识别方法及装置，识别方法包括：从采样图像中获取特征点位置，并对焊缝类型进行分类，之后对图像作预处理后获取焊缝轮廓线，并结合特征点的位置、轮廓类型和轮廓线的形状计算出激光入射角参考向量；把特征点在采样的图像中的坐标以及激光入射角参考向量发送给机器人控制系统；机器人控制系统执行空间映射、轨迹规划操作，把图像特征点及激光入射角参考向量转换成可以控制机器人运动的控制量输出给机器人后控制机器人运动。通过YOLOv4实现对焊缝类型进行分类并识别焊缝轮廓特征点位置，进而计算出激光入射角参考向量，在三维异形焊缝的焊缝跟踪过程中具有较高的识别和分类准确率以及较高的鲁棒性。

技术领域

本发明属于机器人焊接技术领域，具体是一种基于深度学习的激光焊接焊缝特征点识别方法及装置。

背景技术

近年来，激光焊接因为其功率密度高、残余应力小、光束易控制、焊接精度高等优势越来越受到行业的青睐。然而激光因为其能量集中在焦点处，因此对工件的一致性提出了比较高的要求，所以在实际焊接生产应用当中，批量生产时往往需要准备大量的夹具对焊件进行位置固定，增加了生产成本，并且缺乏柔性，此外如果工件结构形状发生改变，这些专用夹具就会失去作用。而目前针对这类问题的主流方案多采用线激光传感器进行实时跟踪。

而常规的线激光传感器本质是基于线结构光的主动视觉线激光传感器，其硬件主要由线激光发射器、工业工业相机以及滤光镜片组成，工作时，1)线激光发射器投射光幕至被焊工件焊缝周围表面，光幕与表面相交生成一条表示工件截面轮廓的激光条纹，工业相机拍摄激光条纹经过滤光后的激光条纹图像，2)之后通过特征点提取算法从图像中提取用于焊接的特征点像素坐标，3)最后在完成对工业相机的内外参数标定后通过三角测量原理将特征点像素坐标映射到实际的相机物理空间中。

其中，对于步骤2)通过特征点提取算法从图像中提取用于焊接的特征点像素坐标，因为其只采用了图像一小部分的特征信息，所以这种算法对特征提取和特征匹配的精度及准确性要求非常高，对错误非常敏感，导致整个测量算法的软硬件要求高，不易实现，很难应用于实际激光焊接跟踪。

此外，目前的主流的方案多应用于弧焊领域，而一些激光焊接的跟踪应用也多针对特定形状的焊缝，这些应用都针对指定的场景，焊接参数都也会针对对应的场景做适配，且设定过程比较复杂，削弱了焊缝跟踪高柔性的优点。为此，目前最接近的现有技术方案描述如下：

一篇申请号为CN202011463792.8的发明专利公开一种基于深度神经网络的焊缝自动跟踪方法，其包括特征点检测网络和特征点跟踪网络。特征点检测网络输出的特征点位置信息输入特征点跟踪网络，实现焊缝自动跟踪。特征点检测网络由特征提取模块、注意力机制模块、先验框生成模块和识别定位模块组成。焊缝特征点跟踪网路由特征提取模块、注意力机制模块和响应输出模块组成。该发明利用神经网络实现了焊缝自动跟踪，根据焊缝图像特点设计焊缝特征点提取网络和跟踪网络，能够提高焊接的效率和质量，提高自动焊缝跟踪系统在实际复杂焊接环境中的适应能力。

另一篇申请号为CN202011477237.0的发明专利公开一种基于独立纠偏型深度学习的焊缝跟踪方法及装置，所述装置包括：工作平台、控制器、竖直方向导轨、水平方向导轨、焊枪夹具、线结构光视觉线激光传感器、伺服电机；所述方法包括：S1：采集焊缝结构光图片；S2：读取焊缝结构光图片；S3：利用YOLOV3识别到当前焊缝类型并定位焊缝中心位置；S4：以S3定位的焊缝中心位置作为跟踪目标，并初始化KCF跟踪器；S5：焊接开始，利用KCF-YOLOV3算法实时跟踪焊缝；直至焊接结束。该发明所述焊接装置及焊接方法能够自动识别多种焊缝并精确定位焊缝中心区域，可有效提高焊缝检测速度以及识别准确率，从而提高焊接效率。