[发明专利]基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统和方法

摘要

本发明公开了一种基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统和方法，包括立体拍摄模块融合压缩模块通讯模块混合现实显示模块、辅助信息添加模块、图形渲染模块和混合现实眼镜模块。发明提供的一种基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统，解决船舶离岸条件下远程故障诊断及维修保养问题。岸端和船端所见相同，在同一个场景下同步操作。故障设备实景和维修辅助信息在船和岸之间双向同步显示互动，实现岸上专家信息增强条件下的船舶故障诊断及维修保养。

主权项

1.一种基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统，其特征在于包括:立体拍摄模块,所述立体拍摄模块安装在船端操作人员头部位置获取故障设备到摄像头的三维场景深度信息，根据三维场景深度信息调整三维摄像头的立体拍摄参数；融合压缩模块，接收所述立体拍摄模块传送的三维场景数据信息并将接收到的信息进行融合压缩处理，将其转换成用于传送的数据格式；通讯模块，所述通讯模块采用海事通讯卫星将融合压缩模块传送的数据信息传回到岸端；该系统还包括岸端的接收所述通讯模块传送的数据信息的混合现实显示模块，所述混合现实显示模块将接收到的立体场景信息进行实时显示，以人眼所在位置为视点，以立体拍摄模块测量的三维场景深度作为混合现实显示模块的立体场景显示深度，显示出故障船舶的三维立体场景，实现船岸三维立体场景的同步，并在此三维立体场景中进行故障船舶的故障判断；接收所述混合现实显示模块传送的数据信息的辅助信息添加模块，所述辅助信息添加模块在岸上显示的三维立体场景中使用三维交互工具对故障点进行标注，同时从配件模型库中调取配件模型，把船舶故障设备的维修装配方法展示出来；所述辅助信息添加模块将装配方法信息通过通信模块传送至故障船舶上；故障船舶的图形渲染模块接收所述辅助信息添加模块传送的数据信息、把专家维修操作信息和模型库配件信息进行三维图形渲染处理，根据混合现实眼镜对应的视场角和与场景相匹配的三维场景深度，渲染成维修辅助增强信息；接收所述图形渲染模块传送的数据信息把船载终端渲染后的维修辅助增强信息传送给船员佩戴的混合现实眼镜模块，叠加显示在故障设备上，指导船员进行故障维修操作；所述混合现实显示模块包括人机交互装置，所述人机交互装置至少包括三维鼠标、数据手套、位置跟踪器和与船舶零部件设备配套设置的配件模型库；工作状态下：在混合现实显示模块的人机交互装置中调用配件模型库中的配件模型，模型库中的配件模型采用三维建模工具创建三维模型，通过数据手套移动配件模型进行装配展示，使用三维鼠标进行故障点标注，数据手套和位置跟踪器配合实时检测工作时的手形和手部各关节的弯曲角度,把手的位置和运动状态信息输入到混合现实显示模块、对配件模型进行抓取、旋转、移动操作；所述立体拍摄模块获取故障船舶到其自身的三维场景深度信息时依据人眼立体视觉特征、双摄像头间距设为人眼间距、双摄像头视角根据拍摄设备深度信息进行实时调整；所述融合压缩模块对接收到的信息进行处理时采用融合压缩算法：对图像进行特征提取识别处理，比较前后两帧图像、记录两帧信息有变化的部分，没变化的信息不进行传输，只传输变化部分，与上一帧没变化的信息合成新一帧图像。