[发明专利]基于视频数据机器学习的人员异常行为预警方法、系统及计算机设备

权利要求书

1.基于视频数据机器学习的人员异常行为预警方法，其特征在于，具体包括以下步骤：

S1、获取视频图像数据，并对视频图像数据进行数据清洗；

S2、对视频图像数据进行预处理，包括去掉数据中涉及到隐私的信息以及对于模糊视频采用帧质量增强方法来提高视频清晰度；

S3、对人体运动模式进行识别，为每一种类型设置一个分类标签，并进行多模态特征编码；

S4、对多模态编码进行特征工程处理，即去除数据中心冗余特征并通过信息增益选择特征；

S5、构造张量神经网络对视频中出现的人物进行追踪，根据追踪的任务轮廓基于步态能量图进行步态检测，并对视频中任务进行皮肤裸露度进行检测将裸露程度作为人物的外貌衣着指标，综合以上指标计算视频帧间图像进行相关性，并根据相关计算的结果对人物进行行为异常判断；S6、构建预警决策支持，即如果获取帧间图像之间相似性和差异性的动态信息显示被摄人员行为异常，则通知相关人员进行应对。

2.根据权利要求1所述的基于视频数据机器学习的人员异常行为预警方法，其特征在于，在步骤S3进行特征工程处理后，对数据进行检测，若存在非随机性缺失数据、做作数据，则采用统计机器学习方法对其进行推理，获得该数据的完整数据。

3.根据权利要求1所述的基于视频数据机器学习的人员异常行为预警方法，其特征在于，多模态特征编码具体包括以下过程：对获取的图像使用5维张量结构，通过(samples,frames,height,width,channels)编码视频数据，分别表示视频数据的样本、帧、高度、宽度和通道这5维张量数据；对获取的视频图像使用4维张量结构，通过(samples,height,width,channels)编码视频数据，分别表示视频数据的样本、高度、宽度和通道这4维张量数据。

4.根据权利要求1所述的基于视频数据机器学习的人员异常行为预警方法，其特征在于，对视频中出现的人物进行追踪包括：

将多模态编码的图像作为张量神经网络的输入；

张量神经网络包括人体姿态识别、行人检测以及前景和背景的分离；

通过人体姿态识别获取图像中人体的姿态关键序列点；

通过行人检测检测到人物，并将任务从图像中分割出来，结合前景和背景的分离，获取人物的姿态轮廓序列；

通过获取的姿态关键序列点和姿态轮廓序列对人物进行追踪和人物识别。

5.根据权利要求1所述的基于视频数据机器学习的人员异常行为预警方法，其特征在于，对视频中任务进行皮肤裸露度进行检测将裸露程度作为人物的外貌衣着指标过程，即基于椭圆皮肤模型获取图像中人物的皮肤面积，将裸露的皮肤面积占人物轮廓的比例作为外貌衣着指标。

6.根据权利要求1所述的基于视频数据机器学习的人员异常行为预警方法，其特征在于，在进行进行步态检测、外貌衣着指标后将设置一个长度为N帧、步长为t的滑动窗口，将行步态检测、外貌衣着指标通过滑动窗口取值，每个窗口的数据取其平均值作为相关性计算的数据。

7.根据权利要求5或6所述的基于视频数据机器学习的人员异常行为预警方法，其特征在于，在进行差异性判断时，通过欧式距离计算两张图像之间的相关性。

8.根据权利要求1所述的基于视频数据机器学习的人员异常行为预警方法，其特征在于，对人物进行行为异常判断时，若S帧内提取到的两张图像的相似性低于某个阈值，则判断任务异常。

9.基于视频数据机器学习的人员异常行为预警系统，其特征在于，包括前端子系统、传输网络和监控中心，其中前端子系统包括各种监控设备，前端之子统通过传输网络将监控设备采集的信息传送到监控中心，监控中心包括异常行为预测装置，该装置通过收集的信息预测被摄人员是否存在异常，若存在则监控中心发出警报并将能够拍摄到该人员的监控设备投射到监控中心显示器上，进行实时监测。

10.基于视频数据机器学习的人员异常行为预警计算机设备，其特征在于，包括存储器和处理器，存储器用于存储权利要求1～8所述的任一一种人员异常行为预警方法，并通过处理器运行存储于存储器中的方法，预测监控器中人员是否存在行为异常。