[发明专利]一种具有认知功能的导航式实验交互装置

摘要

本发明提出了一种具有认知功能的导航式实验交互装置，包括信息输入感知模块、信息融合模块以及操作应用模块；其中信息输入感知模块获取视觉感知；获取容器信息以及完成触觉感知和通过语音的输入完成听觉感知。信息融合模块根据信息输入感知模块获取的视觉感觉、触觉感觉和听觉感知，确定多模态意图。操作应用模块基于多模态意图理解应用于实验。本发明通过对三个通道不同状态对交互的感知表达，以多模态信息相交集合与意图特征集合进行匹配，构成多模态意图理解模型，完成多模态融合，通过文字或语音对关键操作进行提示或指引，根据用户意图与操作规范判断错误操作，并对错误操作行为进行提示或对其后果进行可视化呈现。

主权项

1.一种具有认知功能的导航式实验交互装置，其特征在于，包括信息输入感知模块、信息融合模块以及操作应用模块；所述信息输入感知模块通过Kinect传感器获取人手在虚拟环境下与虚拟场景的坐标映射关系的视觉感知；通过设置两个相同的虚拟实验容器作为实物，并且在两个虚拟实验容器的的感应回路设置感应检测装置用于检测感应回路信号；在其中一个虚拟实验容器侧壁上设置激光光源，另外一个底部设置一个或者多个光敏传感器，所述感应检测装置和光敏传感器与芯片相连，完成触觉感知；通过语音的输入，对关键词提取，以及对实验所需的关键词分类，通过相似度计算得到相似度概率，构成完整语音命令，完成听觉感知；所述信息融合模块根据信息输入感知模块获取的视觉感觉、触觉感觉和听觉感知，通过计算不同模态下不同状态的信号感知对用户意图进行分类；通过判断用户意图和不同状态之间的关系，确定多模态意图；并且设置意图专家知识库，所述意图专家知识库中设置用户意图与用户行为之间的充分必要条件；所述操作应用模块基于信息融合模块确定的多模态意图理解，通过视觉呈现、听觉呈现和触觉呈现，应用于多模态感知虚实融合的化学实验。