[发明专利]基于视频数据机器学习的人员异常行为预警方法、系统及计算机设备

说明书

本发明涉及人工智能领域，具体涉及一种人员异常行为预警方法、系统及计算机设备，方法包括获取视频图像数据，并对视频图像数据进行数据清洗；对视频图像数据进行预处理；对人体运动模式进行识别，为每一种类型设置分类标签，并进行多模态特征编码；去除数据中心冗余特征并通过信息增益选择特征；构造张量神经网络对视频中出现的人物进行追踪，根据追踪的任务轮廓基于步态能量图进行步态检测，并对视频中任务进行皮肤裸露度进行检测将裸露程度作为人物的外貌衣着指标，综合以上指标计算视频帧间图像进行相关性，并根据相关计算的结果对人物进行行为异常判断；本发明能够提高现场管控工作效率和降低工作负荷，增强预警差错控制。

技术领域

本发明涉及人工智能领域，具体涉及一种基于视频数据机器学习的人员异常行为预警方法、系统及计算机设备。

背景技术

智慧园区(医院、校园或工地等)人员内异常行为时有发生，有的甚至不惜以生命为代价(如跳楼自弃和他人行凶等)。智慧园区信息化建设中充分利用视频图像监测等数据，分析园区内人员异常行为，及时提供预警等方面的决策支持。基于本体知识、增强学习、三维人体姿势估计等相关人工智能技术，研发新技术提升园区人员监控视频图像的决策支持能力，特别是对于异常行为风险(特别是生命自弃行为等)的预防及管控能力提升。

消极和异常高涨是本系统重点关注的异常行为状态。过人脸检测和视频图像数据增强学习，进行外貌衣着、体态、步态、步速、面部表情、精神状态等特征提取，主要判断人员情绪状态的三类(正常、消沉、异常高涨)。因多数生命自弃者都会将其意图通过情感、行为等方式表现出来，这些都是不容忽视的求救信号。消极状态又主要表现为流露出长时间的悲哀抑郁、孤独、无助感、绝望等消极特征信息。异常高涨表现为突如其来的、没理由的充满激情。例如，通过视频图像数据提取的轨迹，分析得出某人员平时看起来沉着安静，突然某天表现出充满激情、斗志昂扬，但通过密切接触人员等了解该人员近期并没有发生什么特别重要的事情。那么，该人员属于异常行为状态，因在预警决策支持系统中给予警示信息。

发明内容

为了能够在一些特定园区对园区内人员的行为进行异常预测，减少特殊事件发生，本发明提出一种基于视频数据机器学习的人员异常行为预警方法、系统及计算机设备，所述方法包括以下步骤：

S1、获取视频图像数据，并对视频图像数据进行数据清洗；

S2、对视频图像数据进行预处理，包括去掉数据中涉及到隐私的信息以及对于模糊视频采用帧质量增强方法来提高视频清晰度；

S3、对人体运动模式进行识别，为每一种类型设置一个分类标签，并进行多模态特征编码；

S4、对多模态编码进行特征工程处理，即去除数据中心冗余特征并通过信息增益选择特征；

S5、构造张量神经网络对视频中出现的人物进行追踪，根据追踪的任务轮廓基于步态能量图进行步态检测，并对视频中任务进行皮肤裸露度进行检测将裸露程度作为人物的外貌衣着指标，综合以上指标计算视频帧间图像进行相关性，并根据相关计算的结果对人物进行行为异常判断；S6、构建预警决策支持，即如果获取帧间图像之间相似性和差异性的动态信息显示被摄人员行为异常，则通知相关人员进行应对。

进一步的，在步骤S3进行特征工程处理后，对数据进行检测，若存在非随机性缺失数据、做作数据，则采用统计机器学习方法和双重鲁棒性对其进行推理，获得该数据的完整数据。

进一步的，多模态特征编码具体包括以下过程：对获取的图像使用5维张量结构，通过(samples,frames,height,width,channels)编码视频数据，分别表示视频数据的样本、帧、高度、宽度和通道这5维张量数据；对获取的视频图像使用4维张量结构，通过(samples,height,width,channels)编码视频数据，分别表示视频数据的样本、高度、宽度和通道这4维张量数据。

进一步的，对视频中出现的人物进行追踪包括：