[发明专利]基于深度学习的电梯乘客扒门检测方法及系统

权利要求书

1.一种基于深度学习的电梯乘客扒门检测方法，包括：

采集电梯运行过程数据并进行数据处理；

采用深度学习模型对所述电梯运行过程数据进行扒门检测；

采用深度神经网络模型对所述电梯运行过程数据和扒门检测结果进行电梯异常的实时分析，获得电梯异常分析结果；

根据所述电梯异常分析结果，推送电梯故障情况；

所述电梯运行过程数据包括电梯运行期间的加速度数据和电梯轿厢内监控视频数据；

所述电梯运行期间的电梯轿厢内监控视频数据处理的过程包括：

对存在连续动作变化的监控视频提取图像帧，并根据图像帧的变化程度确定提取图像帧的数量；

对提取后的每帧图像进行尺度修剪，获得图像X_i，i表示图像帧的序号；

对尺度修剪后的图像X_i由下式进行归一化处理，获得归一值，为：

其中，X_min＝0，X_max＝255，由此

所述根据图像帧的变化程度确定提取图像帧的数量的过程包括：

计算监控视频内图像帧的平均帧差distance；

提取监控视频内图像帧的平均帧差distance大于平均值的N倍的图像帧，如果提取出该图像帧，则监控视频的图像帧变化平缓，并选择中间帧；排除亮度过于黑暗的图像帧后，即为最终提取的图像帧。

2.根据权利要求1所述的方法，其特征在于，所述电梯运行期间的加速度数据处理的过程包括：

对存在干扰加速度噪声数据或加速度缺失值进行删除处理；

对采样率低的加速度数据采用移动平均的方式进行插值处理，取出加速度数据缺失之前的滚动时间段内的值，并计算其平均值或中位数来填补缺失，实现缺失值的填充。

3.根据权利要求1所述的方法，其特征在于，所述采用深度学习模型对所述电梯运行过程数据进行扒门检测的过程包括：

在所述电梯运行期间的电梯轿厢内监控视频数据中，依次提取存在连续动作变化的图像帧；

利用帧间差分计算获得连续帧间差分值，并根据连续帧间差分值筛选出监控视频内的连续动作变化内容；

根据不同的动作将监控视频分段；

将分段后的监控视频按顺序输入训练好的深度动作识别模型，输出整条监控视频包含不同动作状态的不同动作时序。

4.根据权利要求3所述的方法，其特征在于，所述动作状态包括：a、正常进梯；b、正常出梯；c、扒门出梯；d、扒门未出梯；以及e、正常乘梯。

5.根据权利要求4所述的方法，其特征在于，所述电梯异常实时分析以及根据所述电梯异常分析结果，推送电梯故障情况的过程包括：

将扒门检测输出的不同动作时序输入训练好的深度神经网络模型进行分析，当输出出现扒门未出梯或长时间处于乘梯状态的结果时，发出困人报警信号；

当出现扒门出梯或扒门未出梯状态的结果时，再将对应的电梯运行期间的加速度数据输入训练好的深度神经网络模型进行分析，根据正常加速度和异常加速度的变化曲线判断乘客扒门是否引起电梯急停、震动或非平层停梯的其他故障，并发出维保信号。

6.一种利用权利要求1至5任一项所述的基于深度学习的电梯乘客扒门检测方法实现的基于深度学习的电梯乘客扒门检测系统，其特征在于，包括：数据采集模块、数据处理模块、扒门检测模块、异常分析模块和故障推送模块，

所述数据采集模块用于采集电梯运行过程数据；

所述数据处理模块用于对采集的电梯运行过程数据进行处理；

所述扒门检测模块用于采用深度学习模型对所述电梯运行过程数据进行扒门检测；

所述异常分析模块用于采用深度神经网络模型对所述电梯运行过程数据和扒门检测结果进行电梯异常的实时分析；

所述故障推送模块用于根据电梯异常分析结果，推送电梯故障情况。

7.根据权利要求6所述的系统，其特征在于，所述电梯运行过程数据包括电梯运行期间的加速度数据和电梯轿厢内监控视频数据。