[发明专利]一种面向AR的导航式交互范式系统

说明书

本发明提出了一种面向AR的导航式交互范式系统，该系统包括输入与感知模块、融合模块以及应用表达模块；输入与感知模块通过kinect获取手部骨骼深度信息，得到手势深度图，完成手势识别；通过语音关键词识别和提取，对实验关键词分类，通过相似度计算得到相似度概率，完成语音识别；融合模块根据手势识别、语音识别以及力反馈表达，通过计算不同模态下不同状态的信号感知对用户意图进行分类，确定多模态意图，并且设置意图专家知识库；应用表达模块对虚拟化学实验进行语音导航，视觉呈现，以及通过进行感知力反馈表达。本发明采用自然交互技术融合手势和语音多模态，并探索一种自然交互模式，降低用户负荷，带来不同的用户体验。

技术领域

本发明属于实验交互的技术领域，特别涉及一种面向AR的导航式交互范式系统。

背景技术

现在的中学化学中，许多化学实验存在爆炸、腐蚀等危险性实验现象，导致学生无法操作实验，在有气体产生的实验中也不易于学生观察，中学生仅通过课本或者视频观察实验现象，因此需要新的实验方法，即达到中学化学实验大纲要求，又解决提出的问题。使得学生可以随时操作实验，节约了化学试剂资源，让学生真正自己去探索、去发现实验的真理和机理。

随着人机交互技术的发展，增强现实作为一种提升现实和虚拟之间交互能力的技术，在应用领域越来越成为热点研究。并且手势交互也越来越成为人机交互中重要的一种交互形式，将手势交互技术与增强现实技术结合，是智能时代的必要需求体现。手势交互技术已经普遍运用于各个领域行业，其中就包括教育教学领域。据研究表明，传统的教育教学逐渐满足不了新时期对教学效果的要求和目标，传统的化学实验存在着爆炸、腐蚀等危险性现象，所以越来越多的教育教学侧重新型虚拟实验教学，其在一定程度上提高了学生的思维能力增强了对虚拟空间的想象能力，但大多数仅借助单一虚拟场景中的模型完成实验操作，缺乏现实环境的真实感，造成学生无法融入到虚拟实验教学中。面对目前的增强现实技术，大多是利用有标签的卡片识别完成对虚拟模型的三维重现，少数是基于数据手套等穿戴设备或者利用手势识别传感器来完成真实世界和虚拟场景的融合，但都无法完全沉浸在虚实交互的实验中。所以，利用裸手交互越来越成为增强现实领域中重要的形式，裸手手势交互技术和增强现实技术结合尤为重要。因此，在增强现实技术中如何进行裸手手势识别，是应用的重要问题。

发明内容

本发明提出了一种面向AR的导航式交互范式系统，采用手势识别和语音识别的信息输入，通过信息融合，在应用表达模块根据融合模块的表达对虚拟化学实验进行语音导航，视觉呈现，以及通过在手指上设置的力反馈部件进行感知力反馈表达。

为了实现上述目的，本发明提出一种面向AR的导航式交互范式系统，包括输入与感知模块、融合模块以及应用表达模块；

所述输入与感知模块通过kinect图像采集设备获取手部骨骼深度信息，得到手势深度图，并在Unity 3D中借助所述手势深度图完成手势识别，并根据坐标转换实现手势位置与虚拟模型的实时交互；通过SDK进行语音关键词识别，通过语音的输入，对关键词提取，以及对实验所需的关键词分类，通过相似度计算得到相似度概率，构成完整语音命令，完成语音识别；

所述融合模块根据输入感知模块获取的手势识别、语音识别以及力反馈表达，通过计算不同模态下不同状态的信号感知对用户意图进行分类；通过判断用户意图和不同状态之间的关系，确定多模态意图；并且设置意图专家知识库，所述意图专家知识库中设置用户意图与用户行为之间的充分必要条件；

所述应用表达模块根据融合模块的表达对虚拟化学实验进行语音导航，视觉呈现，以及通过在手指上设置的力反馈部件进行感知力反馈表达。

进一步的，所述通过kinect图像采集设备获取手部骨骼深度信息得到手势深度图的方法为：

S1：利用kinect图像采集设备获取手部骨骼深度信息，并分割手部区域，采集手势深度图；