[发明专利]一种螺栓松动检测方法及装置

说明书

本发明提供了一种螺栓松动检测方法及装置，该方法包括：获取待检测螺栓的二维图像数据和深度图像数据；根据二维图像数据识别待检测螺栓的各边缘相对于水平线的测量平均角度；根据深度图像数据中待检测螺栓所在区域的像素点计算待检测螺栓的测量距离；将测量平均角度和测量距离分别与待检测螺栓在初始状态下的初始平均角度和初始测量距离进行比较，根据比较结果判定待检测螺栓是否处于松动状态。通过执行本发明不需要人工标注防松线即可实现对待检测螺栓松动状态的检测，提高了松动状态的检测效率，以及检测结果的可靠性，并且，通过本发明结合三维距离的测量同时实现了对待检测螺栓横向松动和纵向松动的检测，提高了螺栓松动检测的鲁棒性。

技术领域

本发明涉及机器视觉检测与测量技术领域，具体涉及一种螺栓松动检测方法及装置。

背景技术

螺栓连接是钢结构中一种基本的连接方式，因具有结构简单、成本低廉、安装方便等优点而被广泛应用于电力、铁路、车辆、桥梁、工程设备等领域，在使用过程中由于受振动、腐蚀和冲击等因素的影响，很容易引起螺栓紧固件的松动、变形、断裂或脱落，从而引起设备故障，甚至重大事故。所以，对螺栓的松动检查一直是工程设备检查维护的重要项目。

传统的螺栓松动检测主要依靠人工定期检查，在安装螺栓的初期，检修工人通过手动标注标记线，检修时通过观察螺栓上的标记线的位置是否发生错动来判断螺栓松动的发生。然而，该方法检测效率低下且十分危险，尤其当螺栓的位置很难靠近时，这种检测往往难以进行。随着计算机视觉算法的应用，检修人员通过图像处理算法识别螺栓的防松线，进而判断螺栓的松动情况，这种方法替换了传统人工识别的过程，但是在识别前需要人工标注防松线，当螺栓防松线掉色后难以识别导致检测失败，并且基于二维图像的螺栓松动检测方法，由于不包含深度信息，无法测量出螺栓的松动的纵向位移。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中检测螺栓松动状态的方法可靠性较差的缺陷，从而提供一种螺栓松动检测方法及装置。

本发明第一方面提供了一种螺栓松动检测方法，包括：获取待检测螺栓的二维图像数据和深度图像数据；根据二维图像数据识别待检测螺栓的各边缘相对于水平线的测量平均角度；将深度图像数据中的像素点与二维图像数据中的像素点进行匹配，得到像素点匹配结果，并根据像素点匹配结果以及待检测螺栓在二维图像数据中的位置，在深度图像数据中确定待检测螺栓所在区域；根据深度图像数据中待检测螺栓所在区域的像素点计算待检测螺栓的测量距离；将测量平均角度和测量距离分别与待检测螺栓在初始状态下的初始平均角度和初始测量距离进行比较，若测量平均角度与初始平均角度的绝对差值大于第一预设值，和/或，测量距离与初始测量距离的绝对差值大于第二预设值，判定待检测螺栓处于松动状态。

可选地，在本发明提供的螺栓松动检测方法中，根据二维图像数据识别待检测螺栓的各边缘相对于水平线的测量平均角度，包括：将二维图像数据输入至预先训练的螺栓分割模型中，识别二维图像数据中的待检测螺栓，并对二维图像数据中的待检测螺栓进行分割，得到待检测螺栓的掩膜区域；对待检测螺栓的掩膜区域进行边缘检测，并检测待检测螺栓的边缘直线，得到待检测螺栓各边的边缘直线方程；根据各边缘直线方程与二维图像数据的图像像素坐标系x轴正方向之间的夹角，计算待检测螺栓的各边缘相对于水平线的测量平均角度。

可选地，在本发明提供的螺栓松动检测方法中，螺栓分割模型通过对改进的MaskRCNN模型进行训练得到；改进的Mask RCNN模型包括全卷积网络、特征金字塔网络、区域建议网络；特征金字塔网络包括至少一个金字塔层，每个金字塔层连接有一个空洞卷积层；空洞卷积层包含多种不同扩张率的空洞卷积核；全卷积网络中包括多个卷积层和池化层；所述全卷积网络中使用的卷积层使用多种不同扩张率的空洞卷积核；区域建议网络包含不同尺寸的锚点框；区域建议网络使用非极大值抑制方法筛选感兴趣区域。

可选地，在本发明提供的螺栓松动检测方法中，训练所述螺栓分割模型时所使用的损失函数为： ，