[发明专利]基于手势交互的多人协同拆装系统

权利要求书

1.基于手势交互的多人协同拆装系统，

包括服务器端和多个客户端，

服务器端具有中控服务器，客户端具有联网至中控服务器的图形工作站，以及分别连接图形工作站的用于采集用户的视角信息的头盔显示器、用于采集用户手部姿态信息的体感控制器，其特征在于，中控服务器设置有：

数据解析模块，用于读取导入的模型文件和数据文件；

协同拆装过程模型构建模块，用于在系统运行的开始根据模型文件和数据文件进行协同拆装过程模型的构建，并对协同拆装过程模型中的可执行拆装任务进行初始化；

协同拆装过程模型处理模块，用于根据用户对拆装任务的完成，更新新增的可执行拆装任务；

交互过程处理模块，用于根据用户基于头盔显示器、体感控制器的输入进行虚拟装配场景的实现，并通过跟踪虚拟手在相邻帧之间的位姿变换来实现虚拟物体的位姿控制；

协同交互模块，用于实现各客户端场景同步；

人机交互模块，用于实现用户与中控服务器之间的交互。

2.根据权利要求1所述的多人协同拆装系统，其特征在于，所述协同拆装过程模型包含：

拆装任务序列，由各个拆装任务的任务编号和先行任务集合构建的有向图，用来控制拆装任务的执行顺序；

可执行任务集合，由可执行的任务组成，在拆装任务完成时根据拆装任务序列进行更新；

拆装任务，包含任务编号、用于关联任务与拆装步骤的步骤编号集合、用来标志对应的拆装步骤完成程度的任务标志位、用于表示可执行此任务时需要先完成任务集合的先行任务集合；

拆装步骤，包含步骤编号、用于表征所需拆装零件的步骤对象、用于表征所需拆装操作的交互过程、用于提示以辅助拆装训练的拆装信息、用于表征执行步骤所需使用工具的工具类型、用于表征执行步骤所需使用手势的抓取手势。

3.根据权利要求2所述的多人协同拆装系统，其特征在于，所述任务通过所包含的拆装步骤的数量来表示是否需要多人协同执行。

4.根据权利要求2所述的多人协同拆装系统，其特征在于，所述交互过程包含单手交互对象模型，所述单手交互对象模型包含：

虚拟手或工具；

所需拆装零件；

零件位姿约束，用于规定零件位姿变化的约束情况；

零件状态判定，所述零件状态有许可实施驱动控制的抓取状态和禁止实施驱动控制的正常状态，所述判定在发生虚拟手或工具与零件碰撞时检测抓取手势是否正确，若正确则进入抓取状态,并根据所述约束情况进入严格抓取状态或半抓取状态，其中严格抓取状态指零件的位姿变化与虚拟手的位姿变化完全一致，半抓取状态指零件方向的位姿变化受到虚拟手控制且与所述约束情况对应；所述判定在手势为释放手势时，控制零件状态从抓取状态变为正常状态；

驱动控制，用于实现零件的位姿变化，控制零件进入抓取状态后开始追踪虚拟手或工具的位姿变化，并根据约束情况调整位姿直至步骤完成。

5.根据权利要求4所述的多人协同拆装系统，其特征在于，所述追踪为跟踪虚拟手或工具的上一帧位置和当前帧位置，跟踪虚拟手时具体跟踪虚拟手在掌心方向的欧拉角变化，跟踪工具时具体跟踪工具在工具旋转方向的欧拉角变化。

6.根据权利要求4所述的多人协同拆装系统，其特征在于，所述零件位姿约束有位置约束、姿态约束，其中姿态约束根据旋转轴心位置分为自转姿态约束、公转姿态约束，以Ti、Tj、RVij作为参数限定，Ti表示零件在空间位置上受到约束，零件位置只能沿空间单位向量i的正向或反向方向移动，Ri表示零件受到自转姿态约束，零件只能在以零件中心为轴心,向量i为轴向的方向旋转，RVij表示零件受到公转姿态约束，零件只能在绕以向量j为轴心位置，向量i为轴向的方向旋转。