[发明专利]一种列车锁扣丢失故障检测方法、系统及装置

权利要求书

1.一种列车锁扣丢失故障检测方法，其特征在于，包括以下步骤：

获得待检测的目标图像；利用滑窗对目标图像进行裁切提取获得一组图像序列；

将图像序列输入特征提取网络进行特征提取，然后利用预测神经网络进行检测，得到故障位置信息和故障类别信息；

所述的预测神经网络包括一个RNN网络；

所述RNN网络的输入为特征提取网络提取到的特征，输出目标图像中目标的类别和位置信息；RNN的网络如下：

将特征提取网络的输出作为RNN的网络输入数据，输入数据输入用于对特征提取网络输出的数据进行处理的全连接层，用于对特征提取网络输出的数据进行处理的全连接层分别连接两个方向相反的LSTM层，两个方向相反的LSTM层即双向LSTM，两个方向相反的LSTM层各自连接一个全连接层，两个方向相反的LSTM层分别对应一个全连接层，分别记为用于对LSTM层输出的数据进行处理的全连接层，两个用于对LSTM层输出的数据进行处理的全连接层各自连接一个GRU层，两个GRU层的方向相反，即双向GRU，所述的双向LSTM中的LSTM层与双向GRU中各自对应的GRU层的方向相反；输入双向GRU之前的数据和双向GRU的输出数据同时输入Attention层；

基于目标对应的位置信息和类别信息，确定故障的位置信息和类别信息。

2.根据权利要求1所述的一种列车锁扣丢失故障检测方法，其特征在于，所述的预测神经网络还包括一个faster R-CNN网络；faster R-CNN网络输入为裁剪目标图像；faster R-CNN网络输出为目标对应的位置信息和类别信息；

所述裁剪目标图像为从目标图像裁切出的图像，具体裁切过程如下：

基于RNN网络输出目标的位置信息，在目标图像中以每个目标中心坐标为中心点，使目标处于待裁切图像正中位置，并保证目标在待裁切图像中占有50％以上的空间，然后进行裁切得到裁剪目标图像。

3.根据权利要求2所述的一种列车锁扣丢失故障检测方法，其特征在于，裁剪目标图像的大小为128*128像素。

4.根据权利要求3所述的一种列车锁扣丢失故障检测方法，其特征在于，所述RNN的网络还包括：Dropout层和BatchNorm层，其中，Dropout层和BatchNorm层被设置于以下至少一个位置：

LSTM层和用于对LSTM层输出的数据进行处理的全连接层之间、用于对LSTM层输出的数据进行处理的全连接层和GRU层之间，以及GRU层和Attention层之间。

5.根据权利要求4所述的一种列车锁扣丢失故障检测方法，其特征在于，所述特征提取网络为vgg16网络。

6.根据权利要求5所述的一种列车锁扣丢失故障检测方法，其特征在于，所述获得待检测的目标图像的过程包括以下步骤：

首先获取包括列车锁扣区域在内的待检测图像；

将包括列车锁扣区域在内的待检测图像作为目标图像，或者，基于列车锁扣及列车其他部件的先验信息对待检测图像中的目标区域进行截取得到目标图像。

7.根据权利要求2-6之一所述的一种列车锁扣丢失故障检测方法，其特征在于，所述基于目标对应的位置信息和类别信息确定故障的位置信息和类别信息的过程包括以下步骤：

基于RNN网络和faster R-CNN网络检测到的目标的位置信息和类别信息，对目标的类别进行判断，若目标的类别为当前车型存在的故障，则认为检测到发生故障；若目标的类别为当前车型不具备的故障或者目标的类别不为故障，则认为没有检测到故障。

8.根据权利要求7所述的一种列车锁扣丢失故障检测方法，其特征在于，所述方法还包括故障复核的步骤，具体包括以下步骤：

将当前检测到的故障的位置信息与上一次检测到的故障的位置信息进行对比，若二者中心点位置相差小于等于30像素，则认为故障重复。

9.一种列车锁扣丢失故障识别检测系统，其特征在于，所述系统用于执行权利要求1至权利要求8之一所述的一种列车锁扣丢失故障检测方法。