[发明专利]一种用于汽车驾驶仿真器的混合现实场景生成方法及系统

说明书

本发明公开了一种用于汽车驾驶仿真器的混合现实场景生成方法及系统，所述混合现实场景生成方法通过安装在汽车驾驶仿真器顶部的摄像机获取司机操作区域的实时高清视频，并完成视频的校正；加载和调度虚拟驾驶场景；对现实视频和虚拟场景进行配准、融合，形成实际视频与虚拟场景的混合场景；对混合场景进行渲染、输出，供学员观看。通过本发明提供的一种用于汽车驾驶仿真器的混合现实场景生成方法及系统，可解决现实世界与虚拟场景的融合问题，令学员在虚拟场景中驾驶训练时，可观测到实际的方向盘、排档以及自己的操作过程，使得仿真器训练更接近实际车辆的驾驶训练过程，极大提升了训练效果。

技术领域

本发明涉及虚拟驾驶技术领域，尤其涉及一种用于汽车驾驶仿真器的混合现实场景生成方法及系统。

背景技术

现有汽车驾驶仿真器常采用显示器、投影屏幕作为显示设备，其视角范围有限、沉浸感不强，无法实现360度环视，影响驾驶培训效果。将虚拟现实(VR)眼镜作为显示设备的汽车驾驶仿真器解决了360度视野的问题。但佩戴VR眼镜后，割裂了现实世界与虚拟场景，学员无法看到方向盘、仪表台等实物，也无法看到自己的操作动作，这是VR技术应用于驾驶培训的重要障碍。

因此，如何实现汽车驾驶仿真器虚拟场景和现实操作场景的实时融合，是一个亟需解决的技术问题。

发明内容

为了解决上述问题，本发明的第一方面提供了一种用于汽车驾驶仿真器的混合现实场景生成方法，所述混合现实场景生成方法包括以下步骤：

在汽车仿真器上固定摄像机，并获取该摄像机的内、外参数；

建立所仿真汽车的三维模型VM，根据摄像机参数设计蒙版模型PM；

选择培训课程；

加载道路场景三维模型TM，并将带有蒙版模型PM的汽车三维模型VM置于道路场景中，组合形成虚拟驾驶场景SM；

采集摄像机所获得的操作区实时视频V，并对视频V进行修正，得到视频V’；

根据虚拟驾驶场景SM中的模型参数，对视频V’进行调整，并得到视频V”；

将视频V”根据蒙版模型PM的预设顶点视频纹理坐标VVC映射到PM上；

根据头戴式显示(HMD)设备的输出分辨率采用图形引擎对完成视频映射的SM进行左右视差方式的渲染，并输出到HMD中，供学员观看。

优选的，所述摄像机固定在汽车驾驶仿真器的顶部位置，以保证能够完整拍摄到仿真器实物上的方向盘、仪表台、排档和手刹部分。

优选的，所述蒙版模型PM为几何体集合，包括顶点空间坐标VC，顶点位置的法向量VN，顶点的视频纹理坐标VVC，顶点间的拓扑关系VT；所述蒙版模型PM置入汽车三维模型相应位置，替代方向盘、仪表台、排档手刹这四个部位的三维模型。

优选的，所述三维模型VM在场景中的位置与姿态根据动力学仿真计算结果实时确定。

本发明的第二方面，提出了一种用于汽车驾驶仿真器的混合现实场景生成系统，所述混合现实场景生成系统包括：

视频采集模块：从安装在汽车驾驶仿真器顶部的摄像机获得司机操作区域的实时高清视频V，并负责完成视频V的校正。

场景调度模块：加载和调度虚拟驾驶场景。

视频融合模块：根据预设参数对视频V及虚拟场景S进行配准、融合，形成实际视频与虚拟场景的混合场景MM。

渲染输出模块：根据头戴式显示(HMD)设备的技术参数对混合场景MM进行渲染和输出，供学员观看。