[发明专利]基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统和方法

说明书

本发明公开了一种基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统和方法，包括立体拍摄模块融合压缩模块通讯模块混合现实显示模块、辅助信息添加模块、图形渲染模块和混合现实眼镜模块。发明提供的一种基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统，解决船舶离岸条件下远程故障诊断及维修保养问题。岸端和船端所见相同，在同一个场景下同步操作。故障设备实景和维修辅助信息在船和岸之间双向同步显示互动，实现岸上专家信息增强条件下的船舶故障诊断及维修保养。

技术领域

本发明涉及船舶故障诊断领域，尤其涉及一种基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统。

背景技术

混合现实眼镜是采用混合现实技术，借助计算机图形绘制和三维显示技术在人眼中显示出真实环境中不存在的虚拟对象，并通过传感技术将虚拟对象准确“放置”在真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使用者一个感官效果真实的新环境。因此混合现实系统具有虚实结合、实时交互、三维可视化的新特点。

目前在海上发生设备故障多采取通过电话联络的方式获取故障信息并指导船员进行维修，然而船员并非专业维修人员，这种指导方式存在信息描述不准确的弊端，会误导岸端对设备故障的判断以及船员进行不准确的维修操作指导。目前还没有一个切实有效的解决方案。因此如何利用混合现实眼镜把实时的场景和维修辅助信息结合，实现一种专家和船员在同一场景下信息同步显示的混合现实系统是我们追求的目的。

发明内容

根据现有技术存在的问题，本发明公开了一种基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统，包括:立体拍摄模块,所述立体拍摄模块安装在船端操作人员头部位置获取故障设备到到摄像头的三维场景深度信息，根据三维场景深度信息调整三维摄像头的立体拍摄参数；

融合压缩模块，接收所述立体拍摄模块传送的三维场景数据信息并将接收到的信息进行融合压缩处理，将其转换成用于传送的数据格式；

通讯模块，所述通讯模块采用海事通讯卫星将融合压缩模块传送的数据信息传回到岸端；

该系统还包括岸端的接收所述通讯模块传送的数据信息的混合现实显示模块，所述混合现实显示模块将接收到的立体场景信息进行实时显示，以人眼所在位置为视点，以立体拍摄模块测量的三维场景深度作为混合现实显示模块的立体场景显示深度，显示出故障船舶的三维立体场景，实现船岸三维立体场景的同步，并在此三维立体场景中进行故障船舶的故障判断；

接收所述混合现实显示模块传送的数据信息的辅助信息添加模块，所述辅助信息添加模块在岸上显示的三维立体场景中使用三维交互工具对故障点进行标注，同时从配件模型库中调取配件模型，把船舶故障设备的维修装配方法展示出来；所述辅助信息添加模块将装配方法信息通过通信模块传送至故障船舶上；

故障船舶的图形渲染模块接收所述辅助信息添加模块传送的数据信息、把专家维修操作信息和模型库配件信息进行三维图形渲染处理，根据混合现实眼镜对应的视场角和与场景相匹配的三维场景深度，渲染成维修辅助增强信息；

接收所述图形渲染模块传送的数据信息把船载终端渲染后的维修辅助增强信息传送给船员佩戴的混合现实眼镜模块，叠加显示在故障设备上，指导船员进行故障维修操作。

所述混合现实显示模块包括人机交互装置，所述人机交互装置至少包括三维鼠标、数据手套、位置跟踪器和与船舶零部件设备配套设置的配件模型库；

工作状态下：在混合现实显示模块的人机交互装置中调用配件模型库中的配件模型，模型库中的配件模型采用三维建模工具创建三维模型，通过数据手套移动配件模型进行装配展示，使用三维鼠标进行故障点标注，数据手套和位置跟踪器配合实时检测工作时的手形和手部各关节的弯曲角度,把手的位置和运动状态信息输入到混合现实显示模块、对配件模型进行抓取、旋转、移动操作。