[发明专利]曳引电梯虚实交互场景乘客行为建模与数据增强方法

说明书

一种曳引电梯虚实交互场景乘客行为建模与数据增强方法，首先，构建曳引电梯系统的数字孪生模型；其次，基于数字孪生技术与运动学原理构建人体行为模型并实现动作虚实映射；然后，收集孪生场景中的虚拟人物视频，并以骨骼点检测算法进行识别验证；最后，在曳引电梯孪生系统中实现乘客行为数据增强。本发明实现了真实人物与虚拟人物之间行为动作的精准映射，解决了实际中电梯视频难以获取、乘客异常行为数据稀缺等问题，为图像识别领域提供了一种新的数据增强方法，既减少了时间与设备成本，又保障了试验人员的安全。

技术领域

本发明属于曳引电梯虚实交互场景领域，涉及一种曳引电梯虚实交互场景乘客行为建模与数据增强方法。

背景技术

乘客在电梯内的异常行为是电梯安全运行监测的重要内容之一。现今，已有大量学者针对电梯轿厢内的跌倒、跳跃、打斗以及扒门等多种异常行为识别展开了研究。

目前的行为识别问题通常有两种解决方法：第一种是自上而下的，该方法将行为识别问题解耦成目标检测与姿态估计两个子问题；第二种是自下而上的，首先在给定的图像中检测出所有的关节点，然后根据人体实例对关节点进行组合。但以上方法在本质上都属于监督学习，需要大量的数据集支持训练才能获得较好的识别模型，然而现实生活中的异常行为数据稀缺。目前的异常行为数据增强有两种解决方法：(1)通过志愿者模拟危险行为动作，但该方法在实践过程中存在安全风险，而且需要考虑时间与设备成本问题；(2)通过人体物理模型模拟危险行为动作，但人体物理模型姿态固定，无法满足实际需求。

数字孪生是指构建等价于物理实体的虚拟模型，并通过物理实体与虚拟模型之间的虚实交互反馈、数据融合分析以及决策迭代优化等，为物理实体增加或扩展新的能力。近年来，研究者正尝试从数字孪生所提供的虚拟环境中生成自动标记的合成数据，并进一步使用这些数据训练深度学习模型，进而提高模型的性能。但其主要用于工业设备的早期故障检测中，在人员安全状态监测领域的应用相对较少。

发明内容

为了克服已有技术的不足，本发明提供了一种曳引电梯虚实交互场景乘客行为建模与数据增强方法，实现了真实人物与虚拟人物之间行为动作的精准映射，解决了实际中电梯视频难以获取、乘客异常行为数据稀缺等问题，为图像识别领域提供了一种新的数据增强方法，既减少了时间与设备成本，又保障了试验人员的安全。

本发明解决其技术问题所采用的技术方案是：

一种曳引电梯虚实交互场景乘客行为建模与数据增强方法，所述方法包括以下步骤：

第一步：曳引电梯系统孪生场景构建，过程如下：

步骤(1.1)曳引电梯系统的几何模型绘制：通过三维建模软件绘制曳引电梯系统的几何模型，几何模型是基于物理实体，运用数字孪生技术搭建1:1真实还原的3D可视化模型，保障孪生模型与物理实体从几何尺寸、材质属性、颜色、形状上保持高度一致，同时也可以真实反映物理实体的装配关系和从属关系，具备结构上的“孪生”；

步骤(1.2)数字孪生场景搭建：将步骤(1.1)绘制的几何模型输出为统一的文件格式，并导入到常用的数字孪生引擎中进行总体装配、定义层级关系与运动约束条件；

步骤(1.3)孪生场景数据驱动：孪生场景的几何模型主要由曳引电梯系统的运行数据以及视频数据进行驱动；

第二步：人体行为孪生模型构建与虚实映射，过程如下：

步骤(2.1)人体行为姿态分解：

步骤(2.2)基于运动学原理的人体行为建模：整个人体关节的运动可以通过正运动学和逆运动学的方法来进行控制；

步骤(2.3)人体行为模型的虚实映射：使用步骤(1.2)中的人物三维模型，以人体骨骼关节点数据作为输入，结合数字孪生技术与运动学原理，实现将现实世界的人物动作实时映射到孪生场景的人物三维模型中；