[发明专利]基于虚拟现实的发动机试车模拟培训全任务系统及方法

说明书

本发明公开了基于虚拟现实的发动机试车模拟培训全任务系统，涉及发动机试车领域，特别涉及及方法；其基于传感器的跟踪注册技术、基于视觉的跟踪注册技术、显示技术和交互技术，解决模型与实际模型重合不漂移的定位问题，并有效识别虚拟开关的位置，以及实现对虚拟开关的状态的精确的判断，进而实现可视化诱导式的发动机试车操作流程，更好的模拟发动机试车训练。

技术领域

本发明涉及发动机试车领域，特别涉及基于虚拟现实的发动机试车模拟培训全任务系统及方法。

背景技术

现有培训训练教学当中，对于复杂结构零件(起落架)和典型工序(发动机试车)等其工艺过程不易熟练掌握和巩固。

一是记忆难，传统工艺中文字、图表、工具、设备、工序等篇幅冗长，繁杂难记；

二是学习不连续，受待修品修理流程和周期限制，无法在需要时随时在工作现场对实物产品按工艺要求的内容进行操作演练；

三是巩固难，受产品体积、重量和测试资源限制，不能特殊工艺过程(试车)按需重复进行。这使技术员按工艺操作变成了纸上谈兵，应该做却难以真实做到，尤其是复杂产品和工序则难上加难。

若结合现虚拟现实技术来进行试车培训，能否能准确实时追踪座舱环境，并准确识别操作动作，则是目前主要难以攻破的技术难点。

发明内容

本发明的目的在于避免现有技术中的不足之处而提供一种能够快速且准确地完成术语标注的技术。

本发明的目的通过以下技术方案实现：

因此，根据本发明公开的一个方面，提供了基于虚拟现实的发动机试车模拟培训全任务系统，包括：头盔显示器和试车装置；头盔显示器与试车装置连接；头盔显示器包括传感器组、摄像头和显示器；试车装置包括：场景分析模块、模型生成模块、开关状态识别模块、场景数据库、和虚拟图像生成模块；场景分析模块分别与传感器组、摄像头以及场景数据库连接，通过场景数据库获取基准图像、通过摄像头获取对比图像，以及通过传感器组获取头盔显示器的位置变化信息；场景分析模块用于对对比图像与各个基准图像进行对比，并分别计算出对应的各个感兴趣区域的结构相似度，根据各个感兴趣区域的结构相似度，确定与对比图像相似的基准图像，作为参考图像；模型生成模块用于根据参考图像重建三维虚拟模型，并确定三维虚拟模型在虚拟图像坐标下的空间位置矩阵；其中，三维虚拟模型包括虚拟开关；开关状态识别模块用于计算出对比图像以及参考图像中的各对特征点的偏移值；根据各对特征点的偏移值更新虚拟开关的状态参数；虚拟图像生成模块与显示器连接，用于根据三维虚拟模型生成虚拟图像，并通过显示器进行显示。

具体的，场景分析模块还用于识别并提取操作者的手势图像。

更具体的，三维虚拟模型还包括虚拟手模型；虚拟手模型包括第一碰撞体；三维虚拟模型还包括虚拟手模型；虚拟开关包括第二碰撞体；开关状态识别模块与模型生成模块连接，用于通过识别第一碰撞体与第二碰撞体的接触状态，更新虚拟开关的状态参数。

以上的，试车装置还包括：训练信息数据库和工作流生成模块；训练信息数据库用于存储训练信息；工作流生成模块用于根据获取的训练信息生成对应的工作流程信息；虚拟图像生成模块根据工作流程信息生成对应的虚拟图像。

进一步的，工作流程信息包括语音提示信息；头盔显示器还包括相互电连接的语音交互模块和语音播报模块；工作流生成模块与语音交互模块电连接，通过所述语音播报模块播报语音提示信息。

根据本发明的另一面，还提供一种基于虚拟现实的开关状态识别方法，应用于权上述的基于虚拟现实的发动机试车模拟培训全任务系统，用于识别虚拟开关的开关状态，包括以下步骤：

初始化对比图像，以及初始化虚拟开关的状态参数；其中，对比图像为实时视频流中提取的图像；