[发明专利]一种具有认知功能的导航式实验交互装置

说明书

本发明提出了一种具有认知功能的导航式实验交互装置，包括信息输入感知模块、信息融合模块以及操作应用模块；其中信息输入感知模块获取视觉感知；获取容器信息以及完成触觉感知和通过语音的输入完成听觉感知。信息融合模块根据信息输入感知模块获取的视觉感觉、触觉感觉和听觉感知，确定多模态意图。操作应用模块基于多模态意图理解应用于实验。本发明通过对三个通道不同状态对交互的感知表达，以多模态信息相交集合与意图特征集合进行匹配，构成多模态意图理解模型，完成多模态融合，通过文字或语音对关键操作进行提示或指引，根据用户意图与操作规范判断错误操作，并对错误操作行为进行提示或对其后果进行可视化呈现。

技术领域

本发明属于实验交互的技术领域，特别涉及一种具有认知功能的导航式实验交互装置。

背景技术

随着人机交互技术的发展和应用，计算机已经逐渐改变了我们的生活方式。它是实现人与计算机之间信息交流的过程，是机器通过输出设备给用户提供大量信息及相关提示。其中，多通道人机交互越来越成为研究的热点领域，相对于传统的单通道交互方式的沉浸感差、输入信息不准确和效率低等不足，多通道交互方式则弥补单通道交互存在的缺陷，在自然交互中存在着更大的应用潜力。智能化的人机交互界面主旨以人为中心，通过对人行为感知、意图感知表达智能化效果。其中，教育教学是信息智能化的重要体现领域[2-4]，虚拟实验技术作为带动教育发展的重要分支，有利于提高用户兴趣丰富体验、规避实验风险等优点，但用户在交互过程中大多数利用比较单一的传统交互通道如触屏、虚拟手套、键盘等形式，造成用户的操作负荷过重从而导致效率太低，如果让虚拟实验中的交互更加高效，则需平衡计算机和人的认知能力，让计算机具有更强的感知和认知能力。

在多通道研究中，针对多模态融合的方法主要分为前期融合和后期融合，前期融合是基于数据层和模型层面的融合，后期融合则基于决策层面的融合。基于决策层融合的研究中，Rui Zhao等人分别对手势、面部和语音三种通道感知识别，通过以时间敏感的方式融合不同的传感信号输入，了解用户的需要和辨别虚假信息；H.A.Vu等人基于对语音和手势的两种单模态识别通过使用权重标准融合和最佳概率融合方法，并且证明其融合分类器的性能优于每个单模态；路璐等人提出了多通道交互分层处理模型，构建了融合触、听、视觉的导航交互原型系统；R Hak等人针对整合模式进行建模融合，并且用户可以自动评估融合算法。基于数据层和模型层面的研究中，Richard M.Jiang等人[14]提出了一种基于子空间的面部和语音低级特征融合的方法，用于感知人体交互的特定语音识别；VicentePeruffo Minotto等人提出了一种在线多模态Speaker diarization算法，采用彩色摄像头和深度传感器作为输入流，从中提取语音相关功能，然后通过由VAD和SSL模块组成的支持向量机方法进行合并，通过面部定位和面部识别的混合技术融合语音识别，弥补单通道的不稳定性；Hui P Y等人[基于潜在语义分析，即LSA进行语音和手势的“多模式语言”的语义解释方面，并达到很好的效果；Chhabria等人提出了针对多模态手势识别的框架，其框架结合手部运动功能、面部表情功能和语音功能，实现把不同模态的多个输入流融合到多模系统中进行融合；Alameda-Pineda X等人通过提取头部和身体特征进行姿态估计，并根据特征数据分布实现融合。

根据多模态的融合方式，在研究中我们发现存在受外界环境干扰、用户体验不佳、融合效率低下等问题。

发明内容

本发明提出了一种具有认知功能的导航式实验交互装置，通过对视觉感觉、触觉感觉和听觉感知，三个通道不同状态对交互的感知表达，以多模态信息相交集合与意图特征集合进行匹配，构成多模态意图理解模型，完成多模态融合，极大地提高交互式虚拟实验系统的自然性和交互效率。

为了实现上述目的，本发明提出一种具有认知功能的导航式实验交互装置,包括信息输入感知模块、信息融合模块以及操作应用模块；