[发明专利]一种多模态融合实验系统及其使用方法

说明书

本发明公开了一种多模态融合实验系统，包括实验仪器、输入模块、多模态意图融合模块、输出模块和报警模块；所述输入模块包括设置在实验仪器上的触觉感知模块、听觉感知模块和视觉感知模块，用于获取用户的触觉、语音、视觉信息；所述多模态意图融合模块用于融合用户的触觉、语音、视觉信息，通过查询数据库和知识库分析用户意图，建立行为节点，判断用户行为是否正确规范；所述报警模块用于提示用户操作错误；所述输出模块用于输出显示用户行为对应的实验操作效果。还公开了上述系统的使用方法，通过多模态信息的融合进行用户意图的分析和感知，解决了单一模态无法完整理解用户意图的问题，达到与用户进行互动的效果。

技术领域

本发明涉及虚拟实验教学领域，具体涉及一种多模态融合实验系统及其使用方法。

背景技术

在中学化学教学过程中，由于有些化学实验具有有毒或危险等隐患，因此这些化学实验无法在课堂上为学生展示，也无法让学生动手操作，只能通过播放视频或动画的方式进行讲解。这种学习方法不易于学生对知识的深刻理解，且大大降低了学生的动手能力。

现有的虚拟实验系统只能通过单一模态输入用户指令，无法完整理解用户的真实意图，影响教学和使用效果。

发明内容

为了解决上述技术问题，本发明提供了一种多模态融合实验系统及其使用方法，解决了单一模态无法完整理解用户意图的问题，对用户错误操作意图进行监控，允许用户进行探究实验。

为实现上述目的，本发明采用以下技术方案：

一种多模态融合实验系统，包括实验仪器、输入模块、多模态意图融合模块、输出模块和报警模块；

所述输入模块包括设置在实验仪器上的触觉感知模块、听觉感知模块和视觉感知模块，用于获取用户的触觉、语音、视觉信息；

所述多模态意图融合模块用于融合用户的触觉、语音、视觉信息，通过查询数据库和知识库分析用户意图，建立行为节点，判断用户行为是否正确规范；

所述报警模块用于提示用户操作错误；

所述输出模块用于输出显示用户行为对应的实验操作效果。

进一步地，所述触觉感知模块识别用户对实验仪器的操作动作，包括设置在实验仪器上的姿态传感器和光敏电阻；

所述听觉感知模块使用百度语音的SDK进行实时语音翻译，并将翻译语句进行分词，获取语音信息；

所述视觉感知模块使用kinect传感设备追踪用户双手，获取视觉信息。

进一步地，所述实验仪器上还设置有标签插口，用于插入试剂标签，区分仪器中模拟试剂。

进一步地，所述报警模块为设置在实验仪器上的震动马达和加热片。

进一步地，所述数据库包括：

听觉词表H：存储实验中用于理解用户意图的有意义的关键词；

触觉词表T：存储实验实物的有意义的触觉传感信号；

触觉对象表T_Obj：存储触觉传感信号对应的操作对象；

多模态对象映射表M_Obj：存储听觉的关键词与触觉的对象的映射表，用于不同模态表达同一物体；

用户意图表U_intention：存储用户意图索引序号I、代表操作词W及意图描述。

进一步地，所述知识库包括：