[发明专利]一种面向AR的导航式交互范式系统

摘要

本发明提出了一种面向AR的导航式交互范式系统，该系统包括输入与感知模块、融合模块以及应用表达模块；输入与感知模块通过kinect获取手部骨骼深度信息，得到手势深度图，完成手势识别；通过语音关键词识别和提取，对实验关键词分类，通过相似度计算得到相似度概率，完成语音识别；融合模块根据手势识别、语音识别以及力反馈表达，通过计算不同模态下不同状态的信号感知对用户意图进行分类，确定多模态意图，并且设置意图专家知识库；应用表达模块对虚拟化学实验进行语音导航，视觉呈现，以及通过进行感知力反馈表达。本发明采用自然交互技术融合手势和语音多模态，并探索一种自然交互模式，降低用户负荷，带来不同的用户体验。

主权项

1.一种面向AR的导航式交互范式系统，其特征在于，包括输入与感知模块、融合模块以及应用表达模块；/n所述输入与感知模块通过kinect图像采集设备获取手部骨骼深度信息，得到手势深度图，并在Unity 3D中借助所述手势深度图完成手势识别，并根据坐标转换实现手势位置与虚拟模型的实时交互；通过SDK进行语音关键词识别，通过语音的输入，对关键词提取，以及对实验所需的关键词分类，通过相似度计算得到相似度概率，构成完整语音命令，完成语音识别；/n所述融合模块根据输入感知模块获取的手势识别、语音识别以及力反馈表达，通过计算不同模态下不同状态的信号感知对用户意图进行分类；通过判断用户意图和不同状态之间的关系，确定多模态意图；并且设置意图专家知识库，所述意图专家知识库中设置用户意图与用户行为之间的充分必要条件；/n所述应用表达模块根据融合模块的表达对虚拟化学实验进行语音导航，视觉呈现，以及通过在手指上设置的力反馈部件进行感知力反馈表达。/n