[发明专利]沉浸式车辆模拟器

说明书

技术领域

本发明涉及车辆模拟器技术领域，具体涉及沉浸式车辆模拟器。

背景技术

随着计算机技术的不断发展，在军事演习或者训练中越来越多地应用虚拟现实技术进行作战模拟。目前此类基于虚拟现实技术的车辆模拟器存在一些不足：虽然支持人体手部在虚拟场景实体化，无法实体化其他设备或人体其他部位；光照系统上只是在一定程度上模拟光照，和实际光照差异较大；头部运动跟踪技术不够先进；需要拼接几个固定视角的拍摄视频，拼接后的视频与裸眼观察内容在角度和深度上存在不易消除的误差，不能下视、视觉受限等问题。这些问题导致人与座舱交互模拟与实际模拟情况差异较大，沉浸感质量较差，降低了车辆模拟器的实用性。

发明内容

为了解决现有技术中军事演习或训练中的车辆模拟器存在人与座舱交互模拟与实际模拟情况差异较大，沉浸感质量较差的问题，本发明提供一种能够解决上述问题的沉浸式车辆模拟器。

实现本发明目的的技术方案为：

沉浸式车辆模拟器，包括虚拟现实装置、追踪定位装置、视频处理装置、视景处理装置和显示装置，其中虚拟现实装置与视频处理装置连接，视景处理装置分别与虚拟现实装置、追踪定位装置和显示装置连接。

进一步的技术方案，所述虚拟现实装置具有3D双目摄像装置，且为头戴式。

进一步的技术方案，所述具有3D双目摄像装置的虚拟现实装置和追踪定位装置安装在座椅的上方和中部。

进一步的技术方案，所述头戴式虚拟现实装置内设磁力计、陀螺仪和加速度计。

进一步的技术方案，所述视景处理装置内设有：

视景生成模块：生成包含战场信息的整个训练场或战场仿真场景；

立体视觉生成模块：将视景生成模块生成的仿真场景进行立体化；

虚拟现实视景追踪模块：根据六自由度信息设置立体视觉生成模块内的摄像机位置和姿态，模拟操作人员头部运动轨迹；

实景采集模块：调用摄像头软件开发工具包，创建虚拟相机对象，设置所需参数，进行实景采集；

前景抽取模块：用于将前景进行抽取；

视频压缩模块：将JPEG图像进行压缩；

虚拟现实虚实融合模块：通过技术处理后的视频融合到虚拟现实场景中，保证视频帧数和大小位置与虚拟场景适配。

所述前景抽取模块包括：2D四点纹理技术模块：用来获取前景视频图像的除深度外的位置信息；基于HOUGH变换的深度图像连通域的轮廓提取模块：用来获取前景视频图像的深度信息；基于标记和肤色检测的抽取模块：用来获取非截取联通区域的肢体图像；基于模型遮罩和多重空间定位的前景抽取模块：基于2D四点纹理技术模块和轮廓提取模块中获取的信息提取前景图像，再融合基于模型遮罩和多重空间定位的前景抽取模块中的图像完成前景抽取。

进一步的技术方案，所述基于模型遮罩和多重空间定位的前景抽取模块利用真实摄像机六自由度信息和虚拟摄像机六自由度信息对视景进行等比例模型遮罩。

进一步的技术方案，所述视频压缩模块基于标准JPEG图像压缩框架进行优化，保证算法的兼容性。

进一步的技术方案，所述虚拟现实虚实融合模块通过三维几何注册与遮挡处理、边缘平滑过渡、插帧补偿、光照一致性、阴影合成处理后的视频融合到虚拟现实虚拟场景中，保证视频帧数和大小位置与虚拟场景适配。

进一步的技术方案，所述六自由度信息是指在追踪定位装置可追踪范围内，主要由追踪定位装置捕捉操作人员头部视频生成头位的六自由度信息；或由头戴式虚拟现实装置内置的磁力计、陀螺仪和加速度计获取头位的六自由度信息。

本发明的有益效果为：

本发明通过混合现实座舱技术，摄像头固定在虚拟现实头盔上的方式准确地实体化了人体部位和操作平台在虚拟场景中的空间位置，通过人体部位控制操作平台增加了现实触觉体验；视角采用跟随头部转动方式，更大地真实还原人类视角，尤其解决了某些车辆下视问题；并且实现了虚实光照一致性、畸变消除等技术难点。弥补了当前大型车辆模拟器系统存在的不足，提高了学员沉浸感、真实感，使模拟训练更好地贴近真实训练，增强了车辆模拟系统的实用性，以最小的代价巩固理论知识，提高操作与处置能力，以高度的沉浸感和临场感将单人和编队车辆训练转化为趣味性强的交互方式，并可突破训练场地限制及最大化利用室内空间，降低训练成本的同时提高训练安全和质量。