[发明专利]一种基于HoloLens的指挥所协同作业电子沙盘系统

权利要求书

1.一种基于HoloLens的指挥所协同作业电子沙盘系统，其特征在于：依次包括硬件支撑层、资源管理层、应用支撑层和业务功能层；所述硬件支撑层通过系统中的硬件采集指挥员的交互信息，并将交互信息传输至资源管理层；所述资源管理层管理系统中的资源数据，并向应用支撑层提供系统管理接口、资源管控接口和数据访问接口；所述应用支撑层实现全息影像计算以及为业务功能层提供应用开发和运行环境支撑；所述业务功能层实现全息态势展示、多角色作战人员互动、自然交互、协同标绘、研讨过程管控和全息影像生成；

所述业务功能层包括全息态势展示单元、多角色互动单元、协同标绘单元和研讨过程管控单元；全息态势展示单元，首先通过透射式头戴显示器上的光学和视觉传感器采集真实场景的视频或者图像，传入后台的全息影像生成单元对其进行分析和重构，并结合头部跟踪设备的数据来分析虚拟场景和真实场景的相对位置，实现坐标系的对齐并进行虚拟场景的融合计算；虚拟场景图像会实时地投射到视网膜上与观察到的真实场景叠加展现在人的视野中；多角色互动单元以全息影像展现异地作战人员的环境和态势，实现实时战况交流；协同标绘单元在全息电子沙盘协同作业环境中，基于协同感知模型和感知实现方法，实现态势标绘操作的感知和形式描述，并以合适的方式发布和呈现给相关参与研讨的人员；研讨过程管控单元在研讨过程中有序采集记录态势标绘操作描述和语音信息，在操作过程中执行多操作并行控制和冲突消解，并控制特定操作发布的人员范围。

2.根据权利要求1所述的基于HoloLens的指挥所协同作业电子沙盘系统，其特征在于：所述硬件支撑层采用HoloLens综合集成设备，包括计算设备、传感设备、显示设备、控制设备和网络通信设备；所述计算设备包括计算服务器以及与计算服务器相连的移动计算设备，所述传感设备包括红外传感器、光学传感器和语音采集器，所述显示设备包括全息投影装置，所述网络通信设备包括本地无线局域网和跨地域大容量传输网络。

3.根据权利要求1所述的基于HoloLens的指挥所协同作业电子沙盘系统，其特征在于：所述资源管理层中：数据资源管理是指管理来自本地数据库、外部接入的指控系统和指挥员操作命令的数据；系统管理是指对协同指挥用户的组织架构提供详细数据描述，并进行严格的权限设定；所述资源管控接口支持是指通过人机交互界面使得支撑用户与仿真资源管理系统进行交互，且用户可通过操作界面实现对数据资源进行控制；数据访问接口实现其他功能模块通过数据资源管理实现对数据资源的统一透明访问。

4.根据权利要求1所述的基于HoloLens的指挥所协同作业电子沙盘系统，其特征在于：所述应用支撑层中包括全息影像生成单元、自然交互单元和应用开发和运行环境单元；

全息影像生成单元通过视觉传感器和光学传感器实现对真实场景的理解和结构分析，并根据自然的人体动作行为实现跟踪定位和场景重构，实时分析虚拟场景和真实场景的相对位置，实现坐标系的对齐，然后根据显示需要和交互操作要求动态完成全息电子沙盘虚拟场景的建模、管理、绘制计算，最终将计算结果传递给全息投影设备生成全息影像并叠加到真实场景中，形成虚实融合的电子沙盘研讨可视化环境；

自然交互单元基于多体感、多传感器设备以及相关的手势识别、语音识别、视线和眼动跟踪技术和算法，实现视线和头部跟踪、语音识别、手势输入、空气触控多种人与全息电子沙盘之间的自然交互方式；

应用开发和运行环境单元是用于创建和运行交互式三维应用程序的综合虚拟现实开发工具，整合图形、音频、物理交互设备和网络功能专业游戏引擎，集成大量常用的人工智能、数据存储和加载、寻路、引导行为、输入跟踪和网络一致性保持常用软件功能组件。

5.根据权利要求2所述的基于HoloLens的指挥所协同作业电子沙盘系统，其特征在于：所述移动计算设备为分布式计算需求提供计算资源，包括头戴式计算机或背负式计算机；所述计算服务器是整个系统数据资源的存储载体和大计算量软件的运行载体；所述传感设备独立安装或安装于移动计算设备；所述显示设备中的全息投影装置将三维沙盘的图形图像计算结果投射形成全息影像；所述控制设备包括按钮和可编程手柄；所述网络通信设备中的本地局域网将连接本指挥所内的各类计算、传感、控制和显示设备，跨地域的传输网络实现异地沙盘态势同步和包括语音、动作在内的人员协同交流信息通信。

6.根据权利要求4所述的基于HoloLens的指挥所协同作业电子沙盘系统，其特征在于：所述开发和运行环境应支持通用的OpenGL和DX11，Physics图形化接口，支持完善的光照和渲染计算以及多线程。