[发明专利]一种具有多模态信息处理功能的虚拟实验平台

权利要求书

1.一种具有多模态信息处理功能的虚拟实验平台，其特征在于，包括信息输入与交互识别模块、意图融合模块和交互应用模块；

所述信息输入与交互识别模块通过压力传感器对胶头滴管滴液进行量化控制以及通过按钮传感器控制胶头滴管滴液的体积，完成胶头滴管传感器信息的输入与交互识别；通过语音的输入，对关键词提取，以及对实验所需的关键词分类，通过相似度计算得到相似度概率，构成完整语音信息输入及交互识别；采用基于视觉的手势识别和kinect深度感知设备实现实验器材的选择，另外对虚拟手和物体进行碰撞检测，完成手势的输入及交互识别；

所述意图融合模块将得到的语音信息得到的第一意图集合、胶头滴管传感器得到的第二意图集合、手势得到的第三意图集合进行组合，得到意图组合，对于不同的意图产生不同的行为定义行为的集合，得到行为集合，并且将意图组合和行为集合建立映射关系；

所述交互应用模块用于根据意图融合模块建立的映射关系通过视觉呈现和语音指引完成虚拟融合的实验。

2.根据权利要求1所述的一种具有多模态信息处理功能的虚拟实验平台，其特征在于，通过压力传感器对胶头滴管滴液进行量化控制以及通过按钮传感器控制胶头滴管滴液的体积，完成胶头滴管传感器信息的输入与交互识别的方法为：

压力传感器的数据为p：0～maxp，滴液的最初形态为定值当前形态为经过转换函数得到即时的滴液变化为所述Trans＝[trans_x trans_y trans_z]为对压力P进行转换的转移向量；所述Trans＝[trans_x trans_y trans_z]与滴液的最初形态s^o结合后得到所述s^now；

采用按钮传感器控制滴液的三种体积标准，所述三种体积标准分别为1倍、3倍和5倍，对所述即时的滴液变化所述i∈{1，2，3}；

按压滴管和液滴流出的速度公式为所述speed_max为设定的滴液能达到的最大的下落速度，所述P＝[P₁ P₂ ... P_n]，n∈N^*；P为一段连续的长度为n的压力值序列，n为3；所述max(p)为压力序列中最大的压力值；所述min(p)压力序列中最小的压力值。

3.根据权利要求1所述的一种具有多模态信息处理功能的虚拟实验平台，其特征在于，通过压力传感器对胶头滴管滴液进行量化控制实现的硬件结构包括电阻式薄膜压力传感器、电压转换模块、STM32单片机和USB转TTL模块；

所述电阻式薄膜压力传感器通过杜邦线与电压转换模块的输入端相连；所述电压转换模块的输出端与所述STM32单片机相连；所述STM32单片机还通过杜邦线与所述USB转TTL模块相连；

所述电阻式薄膜压力传感器用于测量压力，根据压力的大小使电阻至发生变化；所述电压装换模块将电阻变化值转化成电压数值输出给STM32单片机。

4.根据权利要求3所述的一种具有多模态信息处理功能的虚拟实验平台，其特征在于，所述胶头滴管的滴液出口玻璃处设置有微型红外摄像头；所述微型红外摄像头通过USB连接线与所述STM32单片机相连；当所述胶头滴管将滴液滴入目标烧杯时，所述目标烧杯的底部设置标记，微型红外摄像头获取标记的图像，当标记完整出现在图像中，则胶头滴管位于所述目标烧杯的上方，可以进行滴液操作；当标记未完整出现在图像中，则胶头滴口管与所述目标烧杯有偏差，不能进行滴液操作。