[发明专利]一种装配式建筑智能感知虚实交互实训系统及方法

权利要求书

1.一种装配式建筑智能感知虚实交互实训系统，其特征在于，包括：

(1)物理实体场景R：

①装配式建筑实训专用构件A：代指装配式建筑领域常用的多种构件的集合，采用轻量化高强度材质制作，空腔化结构设计，用于在物理实体场景中进行装配式建筑施工操作和实训，各种构件内置多种多个传感检测设备；

②实训专用吊装设备B：采用轻量化高强度材质制作，内置多种传感检测设备，用于将装配式建筑实训专用构件A从放置区起吊运至装配区，以及在装配区参与完成装配式建筑实训专用构件A的装配工作；

③实训专用工器具C：代指装配式建筑施工常用到的多种工器具的集合，包含平铲、鼓风机、钢丝刷、锤子、錾子、卷尺、墨斗、钢筋定位板、钢筋扳手、水准仪、靠尺、密封条、牵引绳，依据系统需要而专门定制，用于实训中的施工操作，各种工器具内置传感检测设备；

④传感检测模块D：由内置于装配式建筑实训专用构件A、实训专用吊装设备B和实训专用工器具C中的所有传感检测设备共同组成，用于实时同步感知、检测和判断装配式建筑实训专用构件A、实训专用吊装设备B和实训专用工器具C的距离、位移和动作状态，并形成动态数据，实时发送至虚拟现实通信模块E；

⑤虚拟现实通信模块E：用于实现传感检测模块D，同三维数字虚拟现实系统F之间的数据处理和传送，分为两部分，一是内网通信，组建内网服务器W，分别连接三维数字虚拟现实系统F的主机M、传感检测模块D和外网接口设备，以无线传输方式来实现整个系统的数据处理和传输；二是外网通信，内网服务器通过外网接口设备连接到互联网云服务Y，形成外网环境，通过互联网，PC端和移动终端可访问内网，可远程使用、管理、维护和监测装配式建筑智能感知虚实交互实训系统；

⑥物理实体场景R布局情况：设有放置区、装配区和附属区，在放置区内有序摆放装配式建筑实训专用构件A，在装配区，建有装配式建筑物的基础，设有实训专用吊装设备B，在附属区，摆放实训专用工器具C、显示虚拟场景V的大屏幕S、个人防护用品；

(2)虚拟场景V：

①三维数字虚拟现实系统F：具体由两大板块组成，一是装配式建筑智慧实训系统软件G，实训参与者通过登录软件，先后进行班级选择、角色分配、构件选择、认知学习及安全交底，然后在物理实体场景R中进行实际装配式建筑施工实训，实训过程中，装配式建筑智慧实训系统软件G与物理实体场景R实时同步交互，播放针对当下进行中施工工序的教学视频，以及实时弹窗提示安全信息，二是虚实交互场景H，基于UNITY3D平台设计，完全仿照物理实体场景R，对装配式建筑实训专用构件A、实训专用吊装设备B和实训专用工器具C物理实体场景R中的所有元素建立3D模型，呈现在虚实交互场景H中为一一对应的装配式建筑实训专用构件模型VA、实训专用吊装设备模型VB和实训专用工器具模型VC所有物理实体场景R中的所有元素的虚拟模型，使虚实交互场景H映射物理实体场景R；

②装配式建筑智慧实训系统软件G和虚实交互场景H的界面分别呈现在现场大屏幕S的左右区域，三维数字虚拟现实系统F根据虚拟现实通信模块E发送的数据，获取装配式建筑实训专用构件A、实训专用吊装设备B和实训专用工器具C的状态信息，完成对物理实体场景R中上述实体部件部品的距离、位移和动作状态信息捕捉，使虚实交互场景H中的装配式建筑实训专用构件模型VA、实训专用吊装设备模型VB和实训专用工器具模型VC虚拟模型部件部品实时动态地映射模拟物理实体场景R中元素的状态变化，实现数字孪生；

其中，所述物理实体场景R中的传感检测模块D，包括陀螺仪CG1、倾角传感器CG2、超声波测距传感器CG3、激光测距传感器CG4、RFID标签CG5和红外接近传感器CG6；

①陀螺仪CG1：设置于装配式建筑实训专用构件A内的中间部位，用于感知、检测和生成装配式建筑实训专用构件A在X、Y、Z方向三轴的实时动态角度数据，会同倾角传感器CG2生成的角度动态数据，经计算后取平均值，以保证角度动态数据的精确性，供三维数字虚拟现实系统F实时互动使用；

②倾角传感器CG2：部署于装配式建筑实训专用构件A内的中间或者上半部位，用于感知、检测和生成装配式建筑实训专用构件A的角度动态数据，会同陀螺仪CG1生成的动态角度数据，计算后取平均值，以保证角度动态数据的精确性，供三维数字虚拟现实系统F实时互动使用；

③超声波测距传感器CG3：位于装配式建筑实训专用构件A底部，用于感知、检测、监控和生成装配式建筑实训专用构件A的高度动态数据，供三维数字虚拟现实系统F使用；

④激光测距传感器CG4：一是安装在实训专用吊装设备B顶部，以某固定墙体为参照物，通过激光反射来测算实训专用吊装设备B整体移动距离并生成实训专用吊装设备B的位移动态数据，二是安装在实训专用吊装设备B的电葫芦上，其激光射向一侧吊柱，通过激光的反射来判断电葫芦移动的距离并生成电葫芦的位移动态数据；这两组位移动态数据，反映了实训专用吊装设备B在横向和纵向的实时移动情况；

⑤RFID标签CG5：被安装在实训专用工器具C内，配合RFID标签识别天线使用，用于检测、感知和判断实训者使用实训专用工器具C的情况及在构件的什么部位进行何种操作，并生成相应动态数据供三维数字虚拟现实系统F实时互动使用，装配式建筑实训专用构件A内置四路RFID标签识别天线，其中两路位于装配式建筑实训专用构件A垂直高度50CM处的左右两侧，一路位于装配式建筑实训专用构件A底部，最后一路位于装配式建筑实训专用构件A中间部位；

⑥红外接近传感器CG6：分别布置在装配式建筑实训专用构件A的底部、吊点螺栓内部、牵引绳螺栓处、支撑杆螺栓处多个部位，可感知、检测和判断装配式建筑实训专用构件A是否位于物理实体场景R放置区的底座上或已离开，可感知、检测和判断各个螺栓是否安放和拧紧，以及装配式建筑实训专用构件A底部套筒是否和预埋钢筋对孔，上述生成的动态数据供三维数字虚拟现实系统F使用，在虚实交互场景H中进行映射和交互；

所述虚拟场景V中的三维数字虚拟现实系统F，当实训者在物理实体场景R中进行实训操作时，三维数字虚拟现实系统F可实时获取和汇总实训操作的各种动态数据，并将数据进行清单化记录，系统智能综合分析并形成实训成绩报表，供教师考察和评价实训者的实际操作水平和理论知识的掌握情况，达到实训、教学和考评并举的目标。

2.权利要求1所述系统对应的一种装配式建筑智能感知虚实交互实训方法，其特征在于，包括以下步骤：

(1)系统的初始化：登录装配式建筑智慧实训系统G软件，在列表中选择要进行实训的构件，并在物理实体场景R中放置区内选定与所选择构件对应的装配式2建筑实训专用构件A，在装配式建筑智慧实训系统软件G端，根据传感检测模块D反馈的数据，对该装配式建筑实训专用构件A进行安全、质量和传感检测设备有无异常进行检查，实训者正确穿戴防护用品后，即可在物理实体场景R中进行下一步实训操作；

(2)清理、放线、钢筋校正和调整标高及贴密封条：在物理实体场景R放置区，实训者要对选定的装配式建筑实训专用构件A先后分别进行清理、放线、钢筋校正和贴密封条工序，在物理实体场景R装配区，实训者要对装配式建筑物的基础调整标高、清理结合面和贴密封条工序，会使用到实训专用工器具C中的平铲、吹风机、钢丝刷、锤子、簪子、卷尺、钢筋定位板、钢筋扳手工器具，当实训者在使用某个具体实训专用工器具C进行操作时，选定的装配式建筑实训专用构件A和某个具体实训专用工器具C中内置的传感检测设备，会检测到实训者当下进行的具体工序，将传感检测到的动态数据实时同步发送至三维数字虚拟现实系统F，虚实交互场景H中对应的具体某个实训专用工器具模型VC在对应的装配式建筑实训专用构件模型VA相应的部位实时同步进行同样的操作过程，同时，实训专用工器具C因进行作业而触发传感检测模块D的传感检测设备，驱动装配式建筑智慧实训系统G软件实时同步循环播放时下进行工序的教学视频和弹出安全提示信息窗告知该工序需注意的安全事项；

(3)挂钩和设置牵引绳：实训者在安装装配式建筑实训专用构件A的吊点螺栓和设置牵引绳时，传感检测模块D可实时感知螺栓安装情况，并通过虚拟现实通信模块E向三维数字虚拟现实系统F发出动态数据，虚实交互场景H中装配式建筑实训专用构件模型VA上的吊点和挂牵引绳的螺栓会实时同步映射实训者的操作过程，螺栓模型也做相应的旋入动作，与此同时，装配式建筑智慧实训系统软件G实时同步循环播放安装螺栓的教学视频，同时弹出安全提示信息窗，提醒时下进行中工序务必注意的安全事项，传感检测设备可感知螺栓是否紧固和到位，并予以实时发布预警信息；

(4)起吊和水平移动：实训专用吊装设备B的挂钩挂入装配式建筑实训专用构件A的吊点螺栓，将构件垂直起吊至50CM处，确定构件无误继续起吊至1M以上高度，然后水平移动到物理实体场景R的装配区，到达装配式建筑物的基础安装部位上部，针对这一阶段操作和运行过程，传感检测模块D可感知检测到装配式建筑实训专用构件A及实训专用吊装设备B高度、高度变化、水平移动和移动距离的动态数据，并将该动态数据通过虚拟现实通信模块E实时发送至三维数字虚拟现实系统F，触发虚拟场景V中装配式建筑智慧实训系统G软件实时同步播放起吊操作教学视频，同时弹窗提示安全事项，与此同时，虚实交互场景H中装配式建筑实训专用构件模型VA和实训专用吊装设备模型VB随着物理实体场景R中装配式建筑实训专用构件A、实训专用吊装设备B实时同步做对应的运行，虚实交互场景H的视角随实际构件变化；

(5)构件吊运的引导：装配式建筑实训专用构件A被吊运至装配式建筑物的基础安装部位上部降落，距离安装部位1.8M时，该步骤中第一次触发传感检测设备，这是实训者可触握牵引绳的高度；垂直降落至距装配式建筑物的基础安装部位50CM度高时，该步骤中第二次触发传感检测设备，这是实训者可手扶引导构件的高度，两次触发传感检测设备产生的动态数据先后发送至三维数字虚拟现实系统F，相应的虚拟场景V中装配式建筑智慧实训系统软件G实时同步播放构件引导操作的教学视频，同时弹窗提示注意安全事项，与此同时，虚实交互场景H中装配式建筑实训专用构件模型VA和实训专用吊装设备模型VB实时同步映射物理实体场景R中装配式建筑实训专用构件A、实训专用吊装设备B被引导的实时运行过程，虚实交互场景H的视角随实际构件变化；

(6)观察对孔和调整位置：实训者手扶引导装配式建筑实训专用构件A至预埋钢筋顶部20CM高度处时，一方面，实训者利用反光镜进行观察对孔，勘验钢筋与套筒是否就位，可用撬棍或S钩从构件侧面进行构件的位置调整，确定无误后缓慢下降，另一方面，传感检测设备实时感知到观察对孔和调整位置的动作，发送动态数据到三维数字虚拟现实系统F，使装配式建筑智慧实训系统软件G实时同步播放时下工序的教学视频，同时，虚实交互场景H中实训专用工器具模型VC实时同步映射物理实体场景R中实训者使用的实训专用工器具C的实时运行情况，整个虚实交互场景H视角随物理实体场景R变化；

(7)安装支撑和构件调整及位置检测：预埋钢筋插入装配式建筑实训专用构件A的套筒后，为装配式建筑实训专用构件A安装斜支撑，根据构件垂直度进行斜支撑的调整以保持构件垂直和水平，用实训专用工器具C靠尺进行垂直度和水平度检测，根据检测情况将装配式建筑实训专用构件A微调直至在X和Y两个方向上保持水平和垂直，安装支撑、构件调整和位置检测三个环节，传感检测设备会实时感知并形成动态数据发送至三维数字虚拟现实系统F，则虚拟场景V中实时同步播放相应的教学视频和弹窗提示安全信息，虚实交互场景H实时同步映射三个操作环节的运行过程，其中，传感检测设备可实时感知装配式建筑实训专用构件A在X和Y两个方向的水平度和垂直度，实时感知支撑点螺栓就位情况，伴随构件调整，装配式建筑实训专用构件A将水平度和垂直度的实时动态数据在大屏幕S上同步显示，整个虚实交互场景H视角随物理实体场景R变化；

(8)支撑锁紧、精度复测和摘钩：传感检测设备可感知装配式建筑实训专用构件A的支撑杆上下两个螺栓是否拧紧、中间调节区定位销是否固定、支撑体系角度是否正确、是否与相邻支撑冲突状态，并将各个动态数据实时显示在大屏幕S上，在实训者进行各种检查和摘钩操作时，传感检测设备实时将相应的操作及螺栓和支撑动态数据发送至三维数字虚拟现实系统F，虚拟场景V实时同步播放当下操作的教学视频，虚实交互场景H视角切换到预制构件安装处，实时同步映射实训者当下进行的操作过程；

(9)工完料清、实训结束：恢复物理实体场景R的初始状态，将装配式建筑实训专用构件A、实训专用吊装设备B和实训专用工器具C实体部品部件拆装归位，通过三维数字虚拟现实系统F检测传感检测模块D状态是否正常，从而完成物理实体场景R和虚拟场景V的初始化。