[发明专利]一种具有多模态信息处理功能的虚拟实验平台

说明书

本发明提出了一种具有多模态信息处理功能的虚拟实验平台，包括信息输入与交互识别模块、意图融合模块和交互应用模块；其中信息输入与交互识别模块完成胶头滴管传感器信息、语音信息和手势的输入及交互识别。意图融合模块将语音信息、胶头滴管传感器和手势得到三个意图集合进行组合，得到意图组合，不同的意图产生不同的行为定义行为的集合，得到行为集合，并且将意图组合和行为集合建立映射关系；交互应用模块用于通过视觉呈现和语音指引完成虚拟融合的实验。本发明平台采用三维场景和手势直接操作实验器材的方式，提供更加具有真实感的操作体验和实验现象，同时融合传感器信息和语音信息，构建一个处理多模态信息的平台系统。

技术领域

本发明属于实验平台领域，特别涉及一种具有多模态信息处理功能的虚拟实验平台。

背景技术

近年来，人机交互飞速发展，特别是在当今人工智能大热的情况下，人机交互作为人工智能的一个重要组成部分，受到了持续的关注。基于各种模态的交互方式此起彼伏，语音，手势，体态，触感等交互方式被应用在各种交互背景下。作为人机交互的一项关键应用，虚拟实验平台也受到越来越多的关注。虚拟实验平台以中学实验为基础，把理论教学与实践教学相结合，解决了传统实验教学过程中由于客观条件限制导致的实验环节不足问题，以及传统视频教学缺乏实际操作过程而导致学生基础理解不透彻的问题。虚拟实验平台逼真地显现出实验的动态特性，其具有智能的人机交互方式，极大地提高了学生的学习兴趣，对深化学生对知识理解和掌握，提高学生的动手实践能力，分析问题和解决问题的能力具有重要作用。

现有的虚拟实验平台大多是基于平面的二维设计，缺乏真实感和实际体验感，当然也有三维的虚拟实验平台，很好地展现了实验的立体效果和逼真感。但是这种系统仍然依赖于传统的鼠标和键盘输入设备，没有真正的体现动手实践过程，忽略了人与实验之间应该存在直接交互，而不是通过鼠标来作为媒介。得益于科技发展，深度相机的问世为许多互动项目提供了更为直接交互方式，通过深度相机感知到人以及人手，将其直接投影到虚拟场景中作为更为直接的交互手段得到了普遍的认可。有的开发实验平台中利用了深度相机获取人手位置，并将其应用到实验交互中，使实验更加具有操作体验感和沉浸感，基本上完成了一个具有完整意义的虚拟平台。但是其中由于单纯的基于视觉来控制实验器材，虽然可以完成实验的组建和反应，但是每个实验只能采用特定器材完成，这缺乏了可探索性。另外，对于需要控制过程的实验，如需要采用滴管添加试剂的情况，其系统无法体现这样一种动态过程，具有了一定局限性。随着人工智能的发展，多模态信息认知和交互模型进入视野，人的情感是复杂的，表达情绪和意图的方式多种多样，单一的信息不足以完全表达清楚某种意图，而采用多模态的信息融合，同时处理多种交互信息得到真实意图的方式解决了意图表达不明确的情况。在常规的实验室中开展实现教学活动时，存在实验步骤完成困难，成本过高，危险过大，为了讲清楚实验原理或现象，需要反复实验或随时随地地做演示实验等问题。为了能够有效的解决实验中的问题，虚拟实验平台研究被提上日程，目前的相关研究仍然存在如操作意图不清，动态操作过程无法提现等问题。

发明内容

本发明提出了一种具有多模态信息处理功能的虚拟实验平台，采用三维场景和手势直接操作实验器材的方式，提供更加具有真实感的操作体验和实验现象，同时融合传感器信息和语音信息，构建一个处理多模态信息的平台系统。

为了实现上述目的，本发明提出一种具有多模态信息处理功能的虚拟实验平台,包括信息输入与交互识别模块、意图融合模块和交互应用模块；

所述信息输入与交互识别模块通过压力传感器对胶头滴管滴液进行量化控制以及通过按钮传感器控制胶头滴管滴液的体积，完成胶头滴管传感器信息的输入与交互识别；通过语音的输入，对关键词提取，以及对实验所需的关键词分类，通过相似度计算得到相似度概率，构成完整语音信息输入及交互识别；采用基于视觉的手势识别和kinect深度感知设备实现实验器材的选择，另外对虚拟手和物体进行碰撞检测，完成手势的输入及交互识别；