[发明专利]基于rotated-yolov5的电梯异物检测方法、系统、存储介质、电梯

权利要求书

1.一种基于rotated-yolov5的电梯异物检测方法，其特征在于，包括如下步骤：

(1)获取电梯内摄像机的视频流，并解码每一帧图像；

(2)将图像进行预处理，得到 [1, 3, 416, 416]维度的数据并喂入rotated-yolov5神经网络中；

(3)在 rotated-yolov5神经网络中前向推理计算后输出带角度的异物预测框；

(4)将预测框输入至后处理和非极大值抑制模块，经过滤后得到有效的异物检测框；

(5)判断异物检测框是否落在安全区域内，如果是，则自动报警，如果否，则解码下一帧图像并重复（2）～（5）步骤。

2.根据权利要求1所述的基于rotated-yolov5的电梯异物检测方法，其特征在于，所述rotated-yolov5神经网络需由模型训练得到，其训练步骤如下：

(a)采集大量的电梯场景图片数据集，并通过人工标注出电梯场景图片中所有的异物信息，包括异物的真实框和所属类别；

(b)对上述电梯场景图片统一进行预处理，并生成结构化的二进制数据文件；

(c)批量地将二进制数据文件喂入rotated-yolov5神经网络模型中，经前向推理计算后得到异物的预测框；

(d)将异物的预测框和真实框进行比较，计算它们之间的损失值；

(e)通过误差反向传播运算更新rotated-yolov5神经网络中的权重参数，并使用梯度下降法来最小化（d）中的损失值；

(f)重复（c）～（e）操作直至满足迭代轮数，训练结束。

3.根据权利要求2所述的基于rotated-yolov5的电梯异物检测方法，其特征在于，所述步骤（a）中通过人工标注图片里每个异物的矩形ROI的四个顶点坐标和异物所属类别。

4.根据权利要求2所述的基于rotated-yolov5的电梯异物检测方法，其特征在于，所述步骤（b）中读取图片数据和异物的标注信息进行预处理的方法为：首先对图片进行增加噪声、颜色扰动的操作，并统一裁剪和缩放为416x416大小的分辨率，颜色通道转换为RGB的形式；并将异物的标注信息编码为真实框数据，预处理完毕后生成一个二进制的数据文件，用于训练rotated-yolov5神经网络。

5.根据权利要求2所述的基于rotated-yolov5的电梯异物检测方法，其特征在于，所述步骤(c)中包括：所述前向推理计算后会得到3个特征图，依次为高、中、低分辨率，对应的分辨率大小分别为52x52、26x26和13x13，每个特征图上的像素都具有(4+1+180+n) x3个通道，前4个通道数据分别依次包含了异物的中心坐标x，y和宽高w，h；第5个通道代表了有无异物的概率信息，随后的180个通道则分别依次代表了异物在0～179 个角度上发生旋转的可能性，最后的n个通道则表示了异物属于类别0～n-1之间的概率。

6.根据权利要求2所述的基于rotated-yolov5的电梯异物检测方法，其特征在于，所述步骤(d)中包括：

步骤S41：异物的预测框数据和真实框数据之间的损失值由 rotated-yolov5神经网络的损失函数计算，其计算方式为，等号右边的四项依次为目标的定位损失、目标的置信度损失、目标的旋转角度损失和目标的分类损失，计算的是正样本框和预测框之间定位损失，是为了让模型去学习分辨该位置处是否有异物，采用softmax 交叉熵损失函数，使用二分类交叉熵损失函数；

步骤S42：使用随机梯度下降法对 的值进行全局优化，并通过反向传播计算来更新rotated-yolov5神经网络的权重矩阵；

步骤S43：将当前训练轮数加1，本轮训练完成。

7.根据权利要求2所述的基于rotated-yolov5的电梯异物检测方法，其特征在于，所述步骤（f）判断是否满足训练轮数的条件为：当前训练轮数是否等于总训练轮数。