[发明专利]基于虚拟现实的座舱实训方法、系统及存储介质

说明书

本发明公开了一种基于虚拟现实的座舱实训方法，包括：获取训练者实训时动作的标记点二维图像数据和手部的动作数据；对标记点二维图像数据进行预处理，得到标记点的二维坐标数据，以及对标记点的二维坐标数据进行计算，得到三维捕捉空间内的点云坐标及方向；根据点云坐标及方向，得到刚体动作对应的空间位置定位数据；根据空间位置定位数据，确定座舱虚拟场景中的手部位置，以及根据训练者手部的动作数据，确定座舱虚拟场景中的手指姿态；根据预置映射关系，确定手指位置与手指姿态在座舱虚拟场景中的对应虚拟按钮操作并进行响应。本发明还公开了一种基于虚拟现实的座舱实训系统及存储介质。本发明提高了虚拟现实座舱训练的沉浸感与效果。

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种基于虚拟现实的座舱实训方法、系统及存储介质。

背景技术

现有飞行员或驾驶员培训主要以“实体模拟座舱”的培训方式展开，该形式虽然模拟了飞机或车辆的实际操作，但却存在一些弊端，如：一个模拟座舱通常只能模拟一种机型，无法满足多机型的训练。由于不同机型的舱门开启方法、飞机起落架结构等设备不一样，若需模拟其他机型，则需重新配置其他实体模拟舱，导致实训成本倍增。同时，部分航空实训，如水上模拟撤离、飞机重大部件维修等，由于设备的不可逆问题，每次实训的成本都非常高。同时，对于火灾、攻击、紧急迫降等培训，在实训舱内无法实现。虽然已经出现了很多采用VR/AR替代实体训练的方式(如配套头显和惯性动作捕捉手套等将座舱的情形模拟成虚拟场景显示出来)，但各个虚拟现实技术任然存在沉浸感不够、成本高以及系统响应速度较慢等问题。

发明内容

本发明的主要目的在于提供一种基于虚拟现实的座舱实训方法、系统及存储介质，旨在解决如何提升虚拟现实座舱训练的沉浸感的技术问题。

为实现上述目的，本发明提供一种基于虚拟现实的座舱实训方法，所述基于虚拟现实的座舱实训方法包括以下步骤：

通过动捕空间中多台动捕相机同时连续拍摄训练者佩戴反光标记点进行实训时的动作，获取同步的标记点二维图像数据，以及通过训练者佩戴的惯性动作捕捉手套，获取训练者手部的动作数据，其中，训练者使用实物进行模拟驾驶训练，所述实物包括座椅、操纵杆、油门和方向脚舵中的至少一种；

对所述标记点二维图像数据进行预处理，得到标记点的二维坐标数据，以及采用计算机多目视觉技术对标记点的二维坐标数据进行计算，得到三维捕捉空间内的点云坐标及方向；

根据所述点云坐标及方向，识别出绑定在训练者不同部位的刚体结构，并解算各刚体结构在捕捉空间内的位置及朝向，得到训练者实训时的刚体动作对应的空间位置定位数据；

根据训练者实训时的刚体动作对应的空间位置定位数据，确定训练者在座舱虚拟场景中的手部位置，以及根据惯性动作捕捉手套提供的动作数据，确定训练者在座舱虚拟场景中的手指位置与姿态；

根据预置的训练者动捕数据到座舱虚拟场景的映射关系，确定训练者手指位置与手指姿态在座舱虚拟场景中的对应虚拟按钮操作并进行相应响应。

可选地，所述惯性动作捕捉手套提供的动作数据包括：每根手指关节的实时角速度数据。

可选地，采用红外窄带滤光技术过滤拍摄到的图像数据中的冗余背景信息以及采用现场可编程逻辑门阵列FPGA对被捕捉标记点图像信息进行预处理。

可选地，采用CPU、GPU以及APU的异构处理模式计算各类数据，其中，所述数据至少包括：所述标记点二维图像数据、所述动作数据、所述标记点的二维坐标数据、所述三维捕捉空间内的点云坐标及方向、所述空间位置定位数据。

进一步地，为实现上述目的，本发明还提供一种基于虚拟现实的座舱实训系统，所述基于虚拟现实的座舱实训系统包括：动作捕捉服务器端与内容呈现端；

所述动作捕捉服务器端至少包括以下组件：