[发明专利]一种基于Kinect手势控制的全息展示系统

权利要求书

1.一种基于Kinect手势控制的全息展示系统，其特征在于：包括Kinect手势控制端、服务器和全息展示客户端，所述Kinect手势控制端通过服务器连接全息展示客户端，Kinect手势控制端用于采集人物图像并提取图像中人物的骨骼点结构后绑定在虚拟模型上形成动作指令，服务器接收Kinect手势控制端的动作指令并发送至全息展示客户端，全息展示客户端接收动作指令并将动作指令显示四分屏投影至全息展示台；

所述Kinect手势控制端包括Kinect传感器和人机交互模块，所述Kinect传感器连接人机交互模块，所述Kinect传感器用于捕捉并识别人物图像，所述人机交互模块用于提取人物的骨骼点结构后绑定在虚拟模型上形成动作指令并传递服务器；

所述服务器包括人物驱动器和动作匹配器，所述人物驱动器连接动作匹配器，所述人物驱动器用于获取并解析人物动作指令，所述动作匹配器用于判定人物动作指令与服务器指令匹配情况并转化为控制指令驱动人物动作后发送至全息展示客户端；

所述全息展示客户端包括骨骼模型控制器和展示播放器，所述骨骼模型控制器用于接收服务器的传输指令并驱动相应指令反映在虚拟模型上，展示播放器用于展示虚拟模型上的动作指令，所述展示播放器为四分屏的全息展示台，呈金字塔型；

所述Kinect手势控制端还包括输入模块，所述输入模块连接人机交互模块，用于直接输入动作指令；包括以下步骤：

S1模型绑定：通过Kinect传感器捕捉人体图像并提取人物的骨骼架构，获取每个骨架结点的坐标并将Kinect传感器的坐标转换成虚拟人物相对于屏幕的坐标，实现虚拟人物与真实人物关节点的同步，再通过Unity提供的Avatar骨骼系统根据关节点构建移动骨骼模型，其中，实现虚拟人物与真实人物关节点的同步具体方式包括：

首先，通过Kinect传感器获取到真实人物的骨骼以及每个骨骼结点的坐标，将真实人物相对于Kinect传感器的坐标转换成虚拟人物相对于屏幕的坐标，同步真实人物与虚拟人物的关节点，以用于解决Kinect使用的坐标与Unity内部使用的坐标不一样问题；

其次，通过Unity提供的Avatar骨骼系统，实现虚拟人物根据同步后的关节点来移动骨骼模型，达到虚拟人物的运动效果，所述Avatar骨骼系统根据人物骨骼结点的Rotation来使骨骼进行平滑的移动，使用Dictionaryint,HumanBodyBonesboneIndex2MecanimMap键值对来将人体骨骼结点序号依次与Avatar骨骼系统的骨骼结点对应起来：

当真实人物某个结点移动之后根据该结点的序号通过boneIndex2MecanimMap找到对应的Avatar骨骼结点，将Avatar节点与人物骨骼结点移动相同的位置，Avatar结点的移动可以牵引骨骼进行移动从而实现整个骨骼的移动；

S2动作采集：当用户进入识别区域，Kinect传感器自动开启捕捉模式，对区域内的用户跟踪识别，当捕捉到符合条件的肢体动作后，通过步骤一的移动骨骼模型的方法构建对应动作的虚拟模型；

S3服务器搭建：获取并解析人物骨骼点数据和动作指令，比对动作指令与骨骼点数据是否匹配，当匹配成功后在服务器端进行动作指令预演并根据用户需求传输动作指令；

S4平台播放：将反映在虚拟模型上的动作指令进行四分屏后的画面投影于全息展示台的四个面上进行播放。