[发明专利]曳引电梯虚实交互场景乘客行为建模与数据增强方法

权利要求书

1.一种曳引电梯虚实交互场景乘客行为建模与数据增强方法，其特征在于，所述方法包括以下步骤：

第一步：曳引电梯系统孪生场景构建，过程如下：

步骤(1.1)曳引电梯系统的几何模型绘制：通过三维建模软件绘制曳引电梯系统的几何模型，几何模型是基于物理实体，运用数字孪生技术搭建1:1真实还原的3D可视化模型，保障孪生模型与物理实体从几何尺寸、材质属性、颜色、形状上保持高度一致，同时也可以真实反映物理实体的装配关系和从属关系，具备结构上的“孪生”；

步骤(1.2)数字孪生场景搭建：将步骤(1.1)绘制的几何模型输出为统一的文件格式，并导入到常用的数字孪生引擎中进行总体装配、定义层级关系与运动约束条件；

步骤(1.3)孪生场景数据驱动：孪生场景的几何模型由曳引电梯系统的运行数据以及视频数据进行驱动；

第二步：人体行为孪生模型构建与虚实映射，过程如下：

步骤(2.1)人体行为姿态分解：

步骤(2.2)基于运动学原理的人体行为建模：整个人体关节的运动可以通过正运动学和逆运动学的方法来进行控制；

步骤(2.3)人体行为模型的虚实映射：使用步骤(1.2)中的人物三维模型，以人体骨骼关节点数据作为输入，结合数字孪生技术与运动学原理，实现将现实世界的人物动作实时映射到孪生场景的人物三维模型中；

第三步：孪生场景人体骨骼点检测：基于骨骼点检测算法对孪生场景中的虚拟人物进行骨骼识别，过程如下：

步骤(3.1)执行步骤(2.3)的同时，对虚拟人物的动作进行视频录制；

步骤(3.2)将步骤(3.1)获取的视频图像数据作为VGG19前10层的输入，得到对应的特征图F；

步骤(3.3)输入特征图F到骨骼提取网络中进行人体骨骼点提取；

步骤(3.4)对于任意两个关节点，通过计算PAFs的线性积分来表征关节点对之间的相关性：

其中，E表示两个关节点连成肢体的置信度，d_j1和d_j2表示关节点1和关节点2的坐标位置，d_j2-d_j12表示关节点1和关节点2所构成肢体的长度，为了快速积分，采用均匀采样的方式近似这两个关节点间的相似度：

y(u)＝(1-u)d_j1+ud_j2

步骤(3.5)通过选择所有置信度最高的关节点，连接成整个人体的骨骼姿态；

步骤(3.6)根据步骤(3.5)获取的虚拟人体骨骼姿态，判断虚拟人物与真实人物骨骼检测准确率的区别；

当虚拟人物骨骼检测准确率与真实人物骨骼检测准确率的误差维持在可接受范围内时，执行第四步的乘客行为数据增强；反之，更换虚拟人物模型并重复执行第二步与第三步；

第四步：基于第二步构建的人体行为孪生模型，对电梯乘客行为进行数据增强电梯乘客行为数据增强，过程如下：

步骤(4.1)乘客行为定义与划分：在进行乘客行为数据增强前，需要先对电梯内的乘客行为进行定义与划分；

其中，正常行为是指乘客在电梯内的正确乘梯动作；

其中，异常行为是指乘客在电梯内做出的威胁设备安全运行以及影响人员生命安全的危险动作；

异常行为可以根据危险程度划分轻度危险行为以及严重危险行为，也可根据乘客数量划分为单人异常行为以及多人异常行为；

步骤(4.2)乘客行为数据增强：乘客行为数据增强可以分为以实控虚和以虚仿实两种方法：

步骤(4.3)乘客行为数据集生成。