[发明专利]一种虚拟现实矿井综采工作面的远程巡检干预方法

摘要

一种虚拟现实矿井综采工作面的远程巡检干预方法是将综采工作面装备实时传回的数据及物探数据构建虚拟软件，实时数据驱动虚拟综采工作面并呈现在多种虚拟现实硬件与软件构建的综采VR追踪与交互中心中，利用多种虚拟现实人机交互手段与虚拟人机交互界面进行虚拟操作，虚拟现实硬件与软件对操作人员位置、姿态和动作进行捕捉，并将虚拟操作转化为现实指令并接入集中控制中心进行真实设备的操作，指引相对应操作的设备完成调整工作，进而完成远程人工干预和人工巡检任务，并对真实的综采工作面实时运行工况进行真实呈现，进而进行监控。本方法在远离生产现场安全的地方直接对运行异常的设备进行远程人工干预，支持多人进行协同和同时巡检工作。

主权项

1.一种虚拟现实矿井综采工作面的远程巡检干预方法，包括综采工作面装备实时传回的数据和物探数据构建的虚拟软件系统和综采VR追踪与交互中心，其特征在于：根据综采工作面装备实时传回的数据系统及物探数据构建系统，实时传输的综采工作面装备数据和物探数据，构建虚拟软件实时数据驱动虚拟综采工作面，并呈现在多种虚拟现实硬件与软件构建的综采VR追踪与交互中心，利用多种虚拟现实人机交互手段与虚拟人机交互界面进行虚拟操作，虚拟现实硬件与软件对操作人员位置、姿态和动作进行捕捉并将虚拟操作转化为现实指令，并接入集中控制中心进行真实设备的操作，指引相对应操作的设备完成调整工作，进而完成远程人工干预和人工巡检任务，实现对真实的综采工作面实时运行工况进行非常真实的呈现，进而进行监控和巡检；所述综采VR追踪与交互中心是设置在现有综采集中控制中心的一个虚拟现实实验室，设置有仿真投影环幕，集成有光学追踪装置与惯性导航，体感交互设备，交互追踪系统多种虚拟现实人机交互硬件装置协同进行真实的漫游综采工作面，并对虚拟软件中的虚拟监测界面呈现在仿真投影环幕中的虚拟按钮和遥控器进行操作，虚拟操作指令映射成为实际操作指令，并实时传递进入综采工作面集中控制系统，指引相对应操作的设备完成调整工作，进而完成远程人工干预，对真实的综采工作面实时运行工况进行非常真实的呈现，进而进行监控；所述仿真投影环幕是包含环幕系统和环幕投影，是一种视听高度沉浸的虚拟仿真显示环境，其将虚拟软件中的虚拟监测画面在此环境中显示，环幕投影系统采用多台投影组成的环形投影屏幕，环形幕半径通常有100弧度，由于其屏幕半径宽大，操作人员的视觉完全被包围，再配合环绕立体声系统，使操作人员充分体验一种高度身临其境的三维立体视听感受，获得一个具有高度沉浸感的实时虚拟综采虚拟仿真可视环境，其沉浸感一般高于传统的平面大屏幕；所述光学追踪装置是采用两个或多个摄象机传感器分辨操作人员的三维信息，利用模式识别技术跟踪操作人员身体位置，在操作人员身体上贴上反光标签，通过镜头发射和接受指定波长的红外光，以获得Marker的三维运动轨迹，操作人员身体位置必须保证每个Marker有两个以上相机观察到；所述惯性导航是通过惯性导航装置实时获得操作人员的定位和姿态信息；所述操作人员的定位和姿态信息是由光学追踪装置与惯性导航进行数据融合的而获得的高精度信息，并实时传递到虚拟软件中，以使在仿真投影环幕中呈现出操作人员的精度较高位置和姿态信息；所述虚拟现实人机交互硬件设备是操作人员利用人机交互设备与虚拟场景进行交互的过程，包括可穿戴式设备、体感交互设备、数据手套、数据衣和交互追踪系统，对操作人员的身体、四肢、手掌和手指动作进行捕捉，并将捕捉的信息实时传递到虚拟软件中；所述虚拟软件是在Unity3d环境下由虚拟监测界面、虚拟现实人机交互硬件接口、虚拟人机交互界面和虚拟界面显示与拆分模块组成；所述虚拟监测界面是将综采工作面装备实时传回的数据及物探数据构建的实时数据驱动的虚拟综采工作面，并与实时运动对象保持同步；所述虚拟现实人机交互硬件接口是Unity3d软件具有的多种虚拟现实人机硬件接口，包括穿戴式设备连接接口、体感交互设备连接接口、数据手套连接接口、数据衣连接接口、交互追踪系统连接接口，具备将各人机交互硬件设备进行无缝集成的功能，是虚拟软件中的虚拟交互模块；所述虚拟人机交互界面是在Unity3d环境下利用UGUI模块中制作的虚拟操作界面，包括虚拟液压支架手动操作阀、虚拟电液控制器、虚拟支架遥控器、虚拟采煤机远程操作面板、虚拟液压支架远程操作面板和虚拟采煤机遥控器；所述虚拟界面显示与拆分模块是将虚拟监测界面与虚拟人机交互界面呈现在仿真投影环幕上，使操作人员可通过虚拟现实人机交互手段在仿真投影环模上与虚拟监测界面中的的虚拟按钮和遥控器进行交互，进而进行虚拟操作；通过分块显示技术，虚拟监测画面被分割成多场景画面，在仿真投影环幕分段显示，解决综采场景规模大、无法将其显示在一个虚拟画面中的问题，实现操作人员在虚拟场景的快速定位与切换；所述判定虚拟操作是否有效的方法是，首先判定进行综采拆分空间的判定，并实时响应出现相应设备的虚拟人机交互界面；然后实时获得操作人员的位置和方向姿态，进而通过获得的操作人员的身体、四肢、手掌和手指动作等信息，判别人身体姿态以及操作手与虚拟面板的交互；如果满足接触和响应条件则触发操作，找到相对应操作的设备，从而完成操作；每次点完后需要点击指令允许按钮，以免误触碰现象的出现；所述操作人员虚拟操作虚拟人机交互界面转化集中控制中心PLC控制命令的流程为，在unity3d中判定交互操作指令，与虚拟软件中预留的虚拟变量进行对应，然后通过C#语言编写的与SQLSERVER软件编写的接口，将虚拟变量传递到与设备相对应的表中，在通过ODBC接口传入组态王，组态王已通过OPC接口与集中控制中心的PLC连接，并通过远程无线传输网络RJ45传递到相对应的物理设备的plc控制系统中，从而操作相对应的设备进行动作。