[发明专利]一种基于视频监控的手扶电梯乘客行为识别方法

说明书

本发明公开了一种基于视频监控的手扶电梯乘客行为识别方法，包括步骤：1)使用关键点提取方法对手扶电梯行为数据集进行骨架提取，并打上标签；2)将提取的骨架划分训练集和验证集；3)搭建合适的图卷积神经网络；4)使用数据集对图卷积神经网络进行训练，并保存最佳的网络模型；5)对手扶电梯场景的图像使用关键点提取方法进行人体关键点提取，并使用行人跟踪方法对行人进行跟踪，得到每个乘客在不同帧的骨架坐标及其置信度；6)将每一帧中的所有乘客的骨架坐标及其置信度输入到训练好的最佳模型中进行行为分类；7)对同一个乘客的行为序列，使用滑动窗统计的方法对其进行滤波，决策出最后的行为。本发明可有效实现对手扶电梯监控视频的行为识别。

技术领域

本发明涉及手扶电梯视频监控和行为识别的技术领域，尤其是指一种基于视频监控的手扶电梯乘客行为识别方法。

背景技术

手扶电梯通常安装在城市人流量密集的重要场合，给市民出行带来便利。但由于乘客搭乘手扶电梯时安全防范意识不够，导致手扶电梯上的安全事故层出不穷。因此，通过对手扶电梯的监控视频进行算法分析，从而自动检测出乘客搭乘手扶电梯时的异常行为对加强城市安全建设有重要意义。随着计算机的计算性能逐渐提高和算法研究的日益成熟，深度学习给人们的生活带来了巨大变化，其中包括视频监控领域。因此，用深度学习算法对手扶电梯监控视频进行实时有效的处理并对乘客的行为进行识别，可以乘客提供安全保障，有重要的研究和商业价值。

一般来说，行人的动作可以通过多种模式识别出来，如行人表情、深度信息、光流信息以及人体骨架等。这些模式的提取方法主要包含了传统方法和深度学习方法。传统方法主要通过人工提取特征，包括人体骨架建模，光流法等。人体骨架建模通过行人轮廓计算人体重心以及各枝干顶点，并将重心和顶点构成的矢量作为特征向量来判断异常行为，但只能用于简单环境中；光流法识别行为主要步骤是使用光流特征来提取运动信息从而来定位感兴趣区域，然后使用方向梯度以及光流直方图来提取出运动特征，最后使用机器学习方法来对行为进行分类，但光流提取过程计算量较大，导致不能实时处理。而深度学习方法普遍使用循环神经网络、卷积神经网络等，卷积神经网络一般用来提取行人的行为特征，然后最后对行人的行为特征进行分类，循环神经网络用于识别行为多考虑了时间维度上的信息，可以对序列进行分类，但是这些方法都没有利用人体骨架的拓扑结构，分类准确率往往不高。

综上所述，发明一种快速且鲁棒性高的手扶电梯乘客行为识别方法具有较高的科学研究和实际应用价值。

发明内容

本发明的目的在于克服现有技术的不足，提出了一种基于视频监控的手扶电梯乘客行为识别方法，该方法将人体关键点作为行为识别的主要依据，将人体骨架坐标以及其置信度输入到训练好的图卷积神经网络进行行为分类，并对连续多帧的行为进行滑动窗统计，来大大提高异常行为检测的速度及适用性。

为实现上述目的，本发明所提供的技术方案为：一种基于视频监控的手扶电梯乘客行为识别方法，包括以下步骤：

1)使用关键点提取方法对手扶电梯行为数据集进行骨架提取，并打上标签；

2)将提取出来的骨架划分训练集和验证集，其中训练集用来训练网络模型，验证集用来进行模型择优；

3)搭建合适的图卷积神经网络，用于乘客行为分类；

4)使用数据集对图卷积神经网络进行训练，并保存最佳的网络模型；

5)对手扶电梯场景的图像使用关键点提取方法进行人体关键点提取，并使用已有的行人跟踪方法(如卡尔曼滤波、粒子滤波等)对行人进行跟踪，得到每个乘客在不同帧的骨架坐标及其置信度；

6)应用步骤4)保留的最佳模型来实现乘客行为分类，将每一帧中的所有乘客的骨架坐标及其置信度输入到训练好的最佳模型中进行分类；

7)对同一个乘客的行为序列，使用滑动窗统计的方法对其进行滤波，决策出最后的行为，实现对手扶电梯监控视频的行为识别。