[发明专利]基于rotated-yolov5的电梯异物检测方法、系统、存储介质、电梯

说明书

本发明公开了一种基于rotated‑yolov5的电梯异物检测方法、系统、存储介质、电梯，涉及电梯安全技术领域，通过获取电梯内摄像机的视频流，解码每一帧图像；将图像进行预处理，将得到的维度数据喂入rotated‑yolov5神经网络中，进行前向推理计算后输出带角度的异物预测框；将预测框输入至后处理和非极大值抑制模块，经过滤后得到有效的异物检测框；判断异物检测框是否落在安全区域内。本发明不仅能检测出异物的位置，还能检测异物的旋转角度，这大大提高了本发明检测算法的精度和鲁棒性。

技术领域

本发明涉及电梯安全技术领域，具体是一种基于rotated-yolov5神经网络的电梯异物检测方法、系统、计算机存储介质、电梯。

背景技术

早期的传统电梯异物检测系统的自动化较弱，通常采用值班人员查看摄像头来实时地监测电梯安全，或者是采用在电梯门内设置红外线来监测进入电梯内的物体。随着如今深度学习的崛起，越来越多的目标检测算法被应用在电梯异物检测系统中。但是这些算法是大多数基于水平目标检测方法来定位异物，而异物在实际场景中都具有一定的旋转角度，这使得电梯异物检测方法不够准确，降低了电梯对异物的监控能力。

发明内容

针对背景技术所提出的问题，本发明的第一目的是提供一种基于rotated-yolov5的电梯异物检测方法，提升进入电梯的异物的检测精度和鲁棒性，提高电梯的使用安全性。

为实现上述目的，本发明提供如下技术方案：

一种基于rotated-yolov5的电梯异物检测方法，包括如下步骤：

(1)获取电梯内摄像机的视频流，并解码每一帧图像；

(2)将图像进行预处理，得到 [1, 3, 416, 416]维度的数据并喂入rotated-yolov5神经网络中；

(3)在 rotated-yolov5网络中前向推理计算后输出带角度的异物预测框；

(4)将预测框输入至后处理和非极大值抑制模块，经过滤后得到有效的异物检测框；

(5)判断异物检测框是否落在安全区域内，如果是，则自动报警，如果否，则解码下一帧图像并重复（2）～（5）步骤。

作为本发明进一步的方案：所述rotated-yolov5神经网络需要由模型训练得到，其训练步骤如下：

(a)采集大量的电梯场景图片数据集，并通过人工标注出图片里所有的异物信息，这些信息主要包括异物的真实框和所属类别；

(b)对这些图片统一进行预处理，并生成结构化的二进制数据文件；

(c)批量地将二进制数据文件喂入rotated-yolov5神经网络模型中，经前向推理计算后得到异物的预测框；

(d)将异物的预测框和真实框进行比较，计算它们之间的损失值；

(e)通过误差反向传播运算更新rotated-yolov5神经网络中的权重参数，并使用梯度下降法来最小化（d）中的损失值；

(f)重复（c）～（e）操作直至满足迭代轮数，训练结束。

作为本发明进一步的方案：所述步骤（a）中通过人工标注图片里每个异物的矩形ROI的四个顶点坐标和异物所属类别。

作为本发明进一步的方案：所述步骤（b）中读取图片数据和异物的标注信息进行预处理的方法为：首先对图片进行增加噪声、颜色扰动的操作，并统一裁剪和缩放为416x416大小的分辨率，颜色通道转换为RGB的形式；并将异物的标注信息编码为真实框数据，预处理完毕后生成一个二进制的数据文件，用于训练rotated-yolov5神经网络。