[发明专利]基于旋转区域候选网络的焊缝自主识别方法

说明书

本发明公开了一种基于旋转区域候选网络的焊缝自主识别方法，将焊缝识别的四大主要步骤（图像预处理、阈值分割、识别焊缝、拟合焊缝）整合在一个深度神经网络下，对复杂场景下的多类型焊缝，实现了准确、快速、端到端的识别。网络的核心在于针对焊缝方向特征的区域候选网络，通过引入网络中锚点框的倾角参数，消除了水平候选区域带来的歧义。

技术领域

本发明涉及一种基于旋转区域候选网络的焊缝自主识别方法，属于计算机视觉领域。

背景技术

工业设备通常是由钢板焊接而成，焊缝的高质量焊接和定期保养是保持其强度的重要手段。现阶段的焊接和焊缝探伤，通常由人工作业完成。然而，人工作业依赖工人的技艺，作业质量存在较大的不稳定因素。另外，焊接过程中的高温、有害气体等易对工人产生危害；大型设备的焊接与保养，不仅需要脚手架、高空作业等额外辅助设备，而且高空作业存在较高的坠落伤亡隐患。

因此，使用自动化设备代替人工执行焊缝的无人自主焊接及保养任务，是一种安全高效的措施，可以提高焊接及保养作业的精度与效率，并能够在人工无法作业的极端条件下工作。而无人自主焊缝焊接及保养作业的前提是要实现对焊缝的准确识别。由于图像包含的信息量丰富，基于图像的焊缝识别方法越来越受到研究人员的重视。

传统的焊缝识别方式通常分为四步：图像预处理、阈值分割、检测焊缝、拟合焊缝。

图像预处理。图像预处理，将原始彩色图像转为灰度图像，并消除图像中的噪声。不同类型的噪声，适用于不同的滤波方式。

阈值分割。阈值分割将图像分为目标和背景两部分区域。通过分析图像的灰度分布，选取合适的阈值。该阈值在灰度分布直方图上，将灰度显著地分为两部分。然而，对于焊缝和背景灰度差异不大的焊缝类型，阈值分割的效果将会很差。尤其是由于污渍和锈迹的存在，使得焊缝的灰度产生较大的变化，这类变化无法被自适应阈值分割所识别，造成分割焊缝的效果不佳。

检测焊缝。检测焊缝通常使用边缘检测的方式，Hough变换通常只适用于焊接过程的焊缝线提取。对于焊接后的焊缝检测，通常使用边缘检测技术。然而边缘检测的效果极度依赖图像中物体的纹理信息，如果阈值分割后焊缝的边缘和周围物体的边缘界限不明显，会给焊缝的边缘定位带来极大的误差，甚至丢失焊缝目标。

拟合焊缝。提取焊缝的特征通常是通过焊缝的边沿坐标，计算得到焊缝中心的坐标，进而拟合出焊缝中心线。

实际上，实现自主识别焊缝仍存在许多待解决的问题，现存的问题包括：光照与阴影对图像质量的影响、焊缝种类对识别算法适应能力的挑战、锈迹或污渍对焊缝目标的干扰或遮盖等等。根据上述传统焊缝检测方法的分析可知，基于图像形态学处理和专家算法的焊缝检测方法存在一定缺陷：传统的焊缝检测瓶颈在于检测焊缝的能力，对于复杂环境下的不同种类焊缝，传统焊缝检测方法易失去目标或提取错误目标。因此，仍然需要一种快速且通用、可以应对具有不同特征焊缝的检测方式或模型。近几年，神经网络在目标检测上表现出优越的性能，尤其是复杂背景下多类目标的检测。

R-CNN首次提出了使用选择性搜索提取候选框，避免了旧算法在每个像素上生成候选框，相比后者大幅度减小了卷积网络的计算量。但R-CNN需要对不同尺寸的候选框进行裁剪或拉伸操作，使其成为同一固定尺寸，然后在提取候选框内的特征图，最后送入分类和边界回归网络，不仅耗费时间，还会造成图像数据的丢失或几何的失真。

SPP-Net引入了金字塔思想，通过SPP层将不同尺度的候选框输出成同一尺度的候选框，且不丢失原图的信息。另外，相比R-CNN，SPP-Net只对原图像进行一次卷积操作提取特征图，在这一部分比R-CNN有100倍左右的提速。但SPP-Net的网络层数仍较多，关键的步骤没有得到本质的简化，计算量仍是影响其时间的主要问题。