[发明专利]基于虚拟现实的座舱实训方法、系统及存储介质

权利要求书

1.一种基于虚拟现实的座舱实训方法，其特征在于，所述基于虚拟现实的座舱实训方法包括以下步骤：

通过动捕空间中多台动捕相机同时连续拍摄训练者佩戴反光标记点进行实训时的动作，获取同步的标记点二维图像数据，以及通过训练者佩戴的惯性动作捕捉手套，获取训练者手部的动作数据，其中，训练者使用实物进行模拟驾驶训练，所述实物包括座椅、操纵杆、油门和方向脚舵中的至少一种；

对所述标记点二维图像数据进行预处理，得到标记点的二维坐标数据，以及采用计算机多目视觉技术对标记点的二维坐标数据进行计算，得到三维捕捉空间内的点云坐标及方向；

根据所述点云坐标及方向，识别出绑定在训练者不同部位的刚体结构，并解算各刚体结构在捕捉空间内的位置及朝向，得到训练者实训时的刚体对应的空间位置定位数据；

根据训练者实训时的刚体动作对应的空间位置定位数据，确定训练者在座舱虚拟场景中的手部位置，以及根据所述惯性动作捕捉手套提供的动作数据，确定训练者在座舱虚拟场景中的手指位置与姿态；

根据预置的训练者动捕数据到座舱虚拟场景的映射关系，确定训练者手指位置与手指姿态在座舱虚拟场景中的对应虚拟按钮操作并进行相应响应。

2.如权利要求1所述的基于虚拟现实的座舱实训方法，其特征在于，所述惯性动作捕捉手套提供的动作数据包括：每根手指关节的实时角速度数据。

3.如权利要求1所述的基于虚拟现实的座舱实训方法，其特征在于，采用红外窄带通滤光技术过滤拍摄到的图像数据中的冗余背景信息以及采用现场可编程逻辑门阵列FPGA对被捕捉标记点图像信息进行预处理。

4.如权利要求1-3中任一项所述的基于虚拟现实的座舱实训方法，其特征在于，采用CPU、GPU以及APU的异构处理模式计算各类数据，其中，所述数据至少包括：所述标记点二维图像数据、所述动作数据、所述标记点的二维坐标数据、所述三维捕捉空间内的点云坐标及方向、所述空间位置定位数据。

5.一种基于虚拟现实的座舱实训系统，其特征在于，所述基于虚拟现实的座舱实训系统包括：

动作捕捉服务器端与内容呈现端；

所述动作捕捉服务器端至少包括以下组件：

动捕相机，用于采集训练者实训时的图像数据，并采用红外窄带滤光技术过滤拍摄到的图像数据中的冗余背景信息；

动捕数据处理服务器，包含一电子计算机、对应的输入输出设备以及在计算机上运行的动捕数据分析处理软件，所述输入输出设备中包含但不限于显示器、键盘和鼠标，所述动捕数据分析处理软件用于对动捕相机传输的动捕数据进行运算处理，所述显示器用于显示动捕软件运行情况；

数据交换机，用于实现所述服务器端组件与客户端组件之间、所述客户端相关组件之间、所述服务器端相关组件之间的数据交换；

标定杆，用于标定动捕相机，以获得动捕空间中各动捕相机之间的相对位置关系；

所述内容呈现端至少包括以下组件：

虚拟环境渲染与同步服务器，包含一电子计算机及对应的输入输出设备，用于渲染虚拟现实座舱虚拟场景并向多台虚拟现实头显同步传输虚拟环境中的数据，以便于同时进行多人训练，所述输入输出设备中包含但不限于显示器、键盘和鼠标，所述显示器用于显示训练者训练情况的上帝视角画面；

虚拟现实头显主机，包含一电子计算机及对应的输入输出设备，用于渲染座舱虚拟场景中的操控按键和舱外情景并传输给虚拟现实头显进行显示；

虚拟现实头显，与所述虚拟现实头显主机连接，用于将所述虚拟现实头显主机渲染出的座舱虚拟场景显示给训练者；

惯性动作捕捉手套，用于采集训练者手部的动作数据；

模拟训练实物，包括座椅、操纵杆、油门和方向脚舵中的至少一种，用于模拟驾驶座舱。

6.如权利要求5所述的基于虚拟现实的座舱实训系统，其特征在于，所述动捕空间可为大空间或小空间，由多个动捕相机环绕所述内容呈现端形成。

7.如权利要求5所述的基于虚拟现实的座舱实训系统，其特征在于，所述虚拟现实头显上和所述惯性动作捕捉手套上绑定有刚体结构，所述刚体结构上配置有多个反光标记点。