[发明专利]基于虚拟现实的发动机试车模拟培训全任务系统及方法

权利要求书

1.基于虚拟现实的发动机试车模拟培训全任务系统，其特征在于，包括：头盔显示器和试车装置；所述头盔显示器与所述试车装置连接；

所述头盔显示器包括传感器组、摄像头和显示器；

所述试车装置包括：场景分析模块、模型生成模块、开关状态识别模块、场景数据库、和虚拟图像生成模块；

所述场景分析模块分别与所述传感器组、摄像头以及所述场景数据库连接，通过所述场景数据库获取基准图像、通过摄像头获取对比图像，以及通过所述传感器组获取头盔显示器的位置变化信息；

所述场景分析模块用于对所述对比图像与各个所述基准图像进行对比，并分别计算出对应的各个感兴趣区域的结构相似度，根据所述各个感兴趣区域的结构相似度，确定与所述对比图像相似的基准图像，作为参考图像；

所述模型生成模块用于根据所述参考图像重建三维虚拟模型，并确定所述三维虚拟模型在所述虚拟图像坐标下的空间位置矩阵；其中，所述三维虚拟模型包括虚拟开关；

所述开关状态识别模块用于计算出对比图像以及参考图像中的各对特征点的偏移值；根据各对特征点的偏移值更新所述虚拟开关的状态参数；

所述虚拟图像生成模块与所述显示器连接，用于根据所述三维虚拟模型生成虚拟图像，并通过所述显示器进行显示。

2.根据权利要求1所述的基于虚拟现实的发动机试车模拟培训全任务系统，其特征在于：

所述场景分析模块还用于识别并提取操作者的手势图像。

3.根据权利要求2所述的基于虚拟现实的发动机试车模拟培训全任务系统，其特征在于：

所述三维虚拟模型还包括虚拟手模型；

所述虚拟手模型包括第一碰撞体；所述虚拟开关包括第二碰撞体；

所述开关状态识别模块与所述模型生成模块连接，用于通过识别所述第一碰撞体与所述第二碰撞体的接触状态，更新所述虚拟开关的状态参数。

4.根据权利要求1至3任一项所述的基于虚拟现实的发动机试车模拟培训全任务系统，其特征在于：

所述试车装置还包括：训练信息数据库和工作流生成模块；

所述训练信息数据库用于存储训练信息；

所述工作流生成模块用于根据获取的训练信息生成对应的工作流程信息；

所述虚拟图像生成模块根据所述工作流程信息生成对应的虚拟图像。

5.根据权利要求4所述的基于虚拟现实的发动机试车模拟培训全任务系统，其特征在于：

所述工作流程信息包括语音提示信息；

所述头盔显示器还包括相互电连接的语音交互模块和语音播报模块；所述工作流生成模块与所述语音交互模块电连接，通过所述语音播报模块播报所述语音提示信息。

6.一种基于虚拟现实的开关状态识别方法，应用于权利要求1至5任一项所述的基于虚拟现实的发动机试车模拟培训全任务系统，其特征在于，包括以下步骤：

初始化对比图像，以及初始化虚拟开关的状态参数；其中，对比图像为实时视频流中提取的图像；

将所述对比图像与各个基准图像对比，并分别计算出对应的各个感兴趣区域的结构相似度，根据所述各个感兴趣区域的结构相似度，确定与所述对比图像相似的基准图像，作为参考图像；

确定所述虚拟开关在所述对比图像以及所述参考图像中分别对应的特征点，并计算出所述对比图像以及所述参考图像中的各对所述特征点的偏移值；

根据各对所述特征点的偏移值更新所述虚拟开关的状态参数。

7.根据权利要求6所述的一种基于虚拟现实的开关状态识别方法，其特征在于，所述将所述对比图像与各个基准图像对比，并分别计算出对应的各个感兴趣区域的结构相似度，根据所述各个感兴趣区域的结构相似度，确定与所述对比图像相似的基准图像，作为参考图像，还包括：

划分出所述对比图像中的各个轮廓，根据各个轮廓的面积和长宽比进行筛选，筛选出与虚拟开关对应的轮廓；

通过边缘检测算法提取所述对比图像内的数字表边缘，并根据所述数字表边缘确定所有数字表区域，并提取各个数字表区域内的数字表特征。