[发明专利]适用于列车的视觉定位与缺陷检测方法和装置

说明书

本申请涉及一种适用于列车的视觉定位与缺陷检测方法、系统、计算机设备和存储介质。所述方法包括：获取待测区域的二维图像信息与三维点云信息，并对所述二维图像信息进行预处理；将预处理后的所述二维图像信息输入第一视觉定位网络模型，以确定所述二维图像信息中的第一目标信息；将所述第一目标信息输入第一缺陷网络模型，以确定所述第一目标信息是否存在明显缺陷；根据所述第一目标信息标定所述三维点云信息，以确定所述三维点云信息中的第二目标信息；提取所述第二目标信息的深度特征，以确定所述第二目标信息是否存在深度缺陷。采用本方法能够针对列车底部关键部位的检测的需求，融合传统图像处理方法和深度学习实现高效精准的视觉检测。

技术领域

本申请涉及列车检测技术领域，特别是涉及一种适用于列车的视觉定位与缺陷检测方法、装置、计算机设备和存储介质。

背景技术

随着我国经济流动和贸易的快速的进步，轨道交通作为现代重要的交通方式也得到了长足的发展与提升，截止2020年为止，全国共有44个城市开通运营城市轨道交通线路233条，运营里程7545.5公里，运营速度最高达到可160km/h。相比于汽车和其他交通方式，由于轨道交通高速行驶的特性，任何细小的故障和隐患如果不能及时发现都可能造成极为严重的后果。

目前，我国对于轨道交通的列车日常检查大多局限于人工完成，然而对于列车复杂的编组结构以及零部件而言，造成人员疲劳，且存在一定的漏检和错检隐患。同时，随着轨道交通的普及和列车保有量的不断增长，其与列车检测效率之间的矛盾越来越大。另外，列车车底作为和轨道接触的部分，具有许多列车运行的关键部位，例如转向架中的轮对轴箱装置、制动装置、牵引电机和齿轮变速传动装置等等。因此，对列车车底设计一套智能的关键部位的视觉定位与缺陷检测装置是十分有必要的。

然而，目前的很多基于机器视觉和图像处理方法方式或者传统方法，较为先进的一种是通过特征筛选分段线性化和插值配准的方法实现了高精度的图像精确配准。但是这类检测基于传统方法，漏检率较高，并且由于光照环境的影响，进行匹配时选择模板具有较大困难。

发明内容

基于此，有必要针对上述技术问题，提供一种适用于列车的视觉定位与缺陷检测方法、装置、计算机设备和存储介质，能够针对列车底部关键部位的检测的需求，融合传统方法和深度学习实现高效精准的视觉检测。

一种适用于列车的视觉定位与缺陷检测方法，所述方法包括：

获取待测区域的二维图像信息与三维点云信息，并对所述二维图像信息进行预处理；

将预处理后的所述二维图像信息输入第一视觉定位网络模型，以确定所述二维图像信息中的第一目标信息；

将所述第一目标信息输入第一缺陷网络模型，以确定所述第一目标信息是否存在明显缺陷；

根据所述第一目标信息标定所述三维点云信息，以确定所述三维点云信息中的第二目标信息；

提取所述第二目标信息的深度特征，以确定所述第二目标信息是否存在深度缺陷；

其中，所述第一视觉定位网络模型与第一缺陷网络模型均为已训练的卷积神经网络模型。

在其中一个实施例中，所述获取待测区域的二维图像信息与三维点云信息，并对所述二维图像信息进行预处理，其中，所述二维图像信息采用面阵相机采集，所述三维点云信息采用三维激光轮廓传感器采集，并借助待测区域的速度信息对动态的所述二维图像信息进行标号。

在其中一个实施例中，所述获取待测区域的二维图像信息与三维点云信息，并对所述二维图像信息进行预处理，其中，所述第一视觉定位网络模型的训练包括，以待测区域的第一目标信息为参照物，构建第一目标信息数据集，对待测区域的第一目标信息进行提取与框选，训练初始视觉定位网络模型，以得到第一视觉网络模型。