[发明专利]一种具有认知功能的导航式实验交互装置

权利要求书

1.一种具有认知功能的导航式实验交互装置，其特征在于，包括信息输入感知模块、信息融合模块以及操作应用模块；

所述信息输入感知模块通过Kinect传感器获取人手在虚拟环境下与虚拟场景的坐标映射关系的视觉感知；通过设置两个相同的虚拟实验容器作为实物，并且在两个虚拟实验容器的感应回路设置感应检测装置用于检测感应回路信号；在其中一个虚拟实验容器侧壁上设置激光光源，另外一个底部设置一个或者多个光敏传感器，所述感应检测装置和光敏传感器与芯片相连，完成触觉感知；通过语音的输入，对关键词提取，以及对实验所需的关键词分类，通过相似度计算得到相似度概率，构成完整语音命令，完成听觉感知；

所述信息融合模块根据信息输入感知模块获取的视觉感觉、触觉感觉和听觉感知，通过计算不同模态下不同状态的信号感知对用户意图进行分类；通过判断用户意图和不同状态之间的关系，确定多模态意图；并且设置意图专家知识库，所述意图专家知识库中设置用户意图与用户行为之间的充分必要条件；

通过视觉感知、触觉感知和听觉感知，得到三个通道的识别信息，因此，在不同模态中不同状态的信号感知结果表示为：y^t＝f(x^t)，t≤7；g^v＝f(x^v)，v≤2；sⁿ＝f(xⁿ)，n为自然数；

所述y^t为容器传感器通道的感知结果；所述g^v为手势位置通道感知结果，所述sⁿ为语音通道感知结果；所述x为通道的输入信号，t为容器传感器通道的不同状态，v为手部位置通道的不同状态，n表示语音通道的不同状态；

通过计算不同模态下不同状态的信号感知对用户意图进行分类，把意图向量的特征集合定义为所述eⁱ为意图的类型；

根据用户意图与不同通道的不同状态之间的关系，理解多模态意图，F_c＝f(y^t∩sⁿ，y^t∩g^v，y^t∩sⁿ∩g^v)；其中，所述F_c为多模态信息相交函数集合；

所述操作应用模块基于信息融合模块确定的多模态意图理解，通过视觉呈现、听觉呈现和触觉呈现，应用于多模态感知虚实融合的化学实验。

2.根据权利要求1所述的一种具有认知功能的导航式实验交互装置，其特征在于，所述通过Kinect传感器获取人手在虚拟环境下与虚拟场景的坐标映射关系的视觉感知的方法为：

通过Kinect传感设备得到人手骨骼节点的深度图像，根据手势深度图第n帧得到的手部状态为S_n(θ_n,γ)和第n-1帧得到的手部状态为S_n-1(θ_n-1,γ)，所述θ深度三维坐标，所述γ为手部关节自由度；

判断S_n(θ,γ)和S_n-1(θ,γ)是否相等，如果是，则手部姿态为静止，手部运动轨迹为0，否则，得到手在Kinect下的手部关节点坐标，其中手部关节点坐标与虚拟空间之间的映射关系为：

其中所述(Kinect_X,Kinect_Y,Kinect_Z)是kienct深度摄像头呈现的真实空间中利用深度摄像头得到的手部关节的坐标，所述(U_X,U_Y,U_Z)是Unity环境下的虚拟空间坐标，所述W是虚拟空间中坐标与手部关节的对应比例关系；

通过判断手部关节点的坐标变化，得到手的真实运动距离，并与虚拟空间中运动模型进行比较，判断运动一致性；如果运动一致，则正常操作；否则操作停止，并提示操作错误。