[发明专利]一种具有多模态信息处理功能的虚拟实验平台

摘要

本发明提出了一种具有多模态信息处理功能的虚拟实验平台，包括信息输入与交互识别模块、意图融合模块和交互应用模块；其中信息输入与交互识别模块完成胶头滴管传感器信息、语音信息和手势的输入及交互识别。意图融合模块将语音信息、胶头滴管传感器和手势得到三个意图集合进行组合，得到意图组合，不同的意图产生不同的行为定义行为的集合，得到行为集合，并且将意图组合和行为集合建立映射关系；交互应用模块用于通过视觉呈现和语音指引完成虚拟融合的实验。本发明平台采用三维场景和手势直接操作实验器材的方式，提供更加具有真实感的操作体验和实验现象，同时融合传感器信息和语音信息，构建一个处理多模态信息的平台系统。

主权项

1.一种具有多模态信息处理功能的虚拟实验平台，其特征在于，包括信息输入与交互识别模块、意图融合模块和交互应用模块；所述信息输入与交互识别模块通过压力传感器对胶头滴管滴液进行量化控制以及通过按钮传感器控制胶头滴管滴液的体积，完成胶头滴管传感器信息的输入与交互识别；通过语音的输入，对关键词提取，以及对实验所需的关键词分类，通过相似度计算得到相似度概率，构成完整语音信息输入及交互识别；采用基于视觉的手势识别和kinect深度感知设备实现实验器材的选择，另外对虚拟手和物体进行碰撞检测，完成手势的输入及交互识别；所述意图融合模块将得到的语音信息得到的第一意图集合、胶头滴管传感器得到的第二意图集合、手势得到的第三意图集合进行组合，得到意图组合，对于不同的意图产生不同的行为定义行为的集合，得到行为集合，并且将意图组合和行为集合建立映射关系；所述交互应用模块用于根据意图融合模块建立的映射关系通过视觉呈现和语音指引完成虚拟融合的实验。