[发明专利]基于手势交互的多人协同拆装系统

说明书

本发明涉及一种基于手势交互的多人协同拆装系统，包括服务器端和多个客户端，服务器端具有中控服务器，客户端具有图形工作站、头盔显示器、体感控制器，中控服务器设：数据解析模块，用于读取导入的模型文件和数据文件；协同拆装过程模型构建模块，用于根据文件构建协同拆装过程模型，并对可执行拆装任务进行初始化；协同拆装过程模型处理模块，用于根据用户对拆装任务的完成，更新可执行拆装任务；交互过程处理模块，用于根据用户的输入进行虚拟装配场景的实现，并通过跟踪虚拟手在相邻帧之间的位姿变换来实现虚拟物体的位姿控制；协同交互模块，用于实现各客户端场景同步；人机交互模块，用于实现用户与中控服务器之间的交互。

技术领域

本发明涉及虚拟现实技术领域，具体涉及一种基于手势交互的多人协同拆装系统。

背景技术

随着虚拟现实技术的快速发展，虚拟现实技术在各个领域得到了广泛的应用。作为虚拟现实技术的主流应用之一，虚拟装配技术能有效解决实际培训中对场地、资源、人员的依赖问题，被广泛应用在工业培训和教学上。

目前的虚拟拆装训练系统存在以下缺陷：

大多数是单人训练系统，而在实际的训练学习过程，存在需要专业指导的情景，也存在需要协同配合的拆装情景。

在用户人机交互上都比较简单，使用鼠标键盘或交互手柄交互，不能体现真实的自然交互操作，不能对用户复杂的拆装动作进行准确的跟踪与识别，难以满足复杂设备的多人协同拆装训练的需求。

不具备通用性，系统往往只能适用与某一具体设备。

发明内容

本发明解决或部分解决现有技术中的不足之处，而提供一种基于手势交互的多人协同拆装系统。

提供一种基于手势交互的多人协同拆装系统，包括服务器端和多个客户端，服务器端具有中控服务器，客户端具有联网至中控服务器的图形工作站，以及分别连接图形工作站的用于采集用户的视角信息的头盔显示器、用于采集用户手部姿态信息的体感控制器，中控服务器设置有：

数据解析模块，用于读取导入的模型文件和数据文件；

协同拆装过程模型构建模块，用于在系统运行的开始根据模型文件和数据文件进行协同拆装过程模型的构建，并对协同拆装过程模型中的可执行拆装任务进行初始化；

协同拆装过程模型处理模块，用于根据用户对拆装任务的完成，更新新增的可执行拆装任务；

交互过程处理模块，用于根据用户基于头盔显示器、体感控制器的输入进行虚拟装配场景的实现，并通过跟踪虚拟手在相邻帧之间的位姿变换来实现虚拟物体的位姿控制；

协同交互模块，用于实现各客户端场景同步；

人机交互模块，用于实现用户与中控服务器之间的交互。

进一步的，所述协同拆装过程模型包含：

拆装任务序列，由各个拆装任务的任务编号和先行任务集合构建的有向图，用来控制拆装任务的执行顺序；

可执行任务集合，由可执行的任务组成，在拆装任务完成时根据拆装任务序列进行更新；

拆装任务，包含任务编号、用于关联任务与拆装步骤的步骤编号集合、用来标志对应的拆装步骤完成程度的任务标志位、用于表示可执行此任务时需要先完成任务集合的先行任务集合；

拆装步骤，包含步骤编号、用于表征所需拆装零件的步骤对象、用于表征所需拆装操作的交互过程、用于提示以辅助拆装训练的拆装信息、用于表征执行步骤所需使用工具的工具类型、用于表征执行步骤所需使用手势的抓取手势。

进一步的，所述任务通过所包含的拆装步骤的数量来表示是否需要多人协同执行。