[发明专利]一种多模态融合实验系统及其使用方法

权利要求书

1.一种多模态融合实验系统，其特征是，包括实验仪器、输入模块、多模态意图融合模块、输出模块和报警模块；

所述输入模块包括设置在实验仪器上的触觉感知模块、听觉感知模块和视觉感知模块，用于获取用户的触觉、语音、视觉信息；

所述多模态意图融合模块用于融合用户的触觉、语音、视觉信息，通过查询数据库和知识库分析用户意图，建立行为节点，判断用户行为是否正确规范；

所述报警模块用于提示用户操作错误；

所述输出模块用于输出显示用户行为对应的实验操作效果；

所述触觉感知模块识别用户对实验仪器的操作动作，包括设置在实验仪器上的姿态传感器和光敏电阻；

所述听觉感知模块使用百度语音的SDK进行实时语音翻译，并将翻译语句进行分词，获取语音信息；

所述视觉感知模块使用kinect传感设备追踪用户双手，获取视觉信息；

所述数据库包括：

听觉词表H：存储实验中用于理解用户意图的有意义的关键词；

触觉词表T：存储实验实物的有意义的触觉传感信号；

触觉对象表T_Obj：存储触觉传感信号对应的操作对象；

多模态对象映射表M_Obj：存储听觉的关键词与触觉的对象的映射表，用于不同模态表达同一物体；

用户意图表U_intention：存储用户意图索引序号I、代表操作词W及意图描述；

所述知识库包括：

意图行为可操作信息表I_i：存储不同意图行为的合理操作对象OS_obj、属性值V_alue的信息；其中，对于对象OS_obj，保存了其合理的操作的主动对象AS_obj及被动对象PS_obj；

多模态操作词归类表M_verb：根据专家知识进行归类，将不同模态表达同一意思的操作动词归类，用于表示不同模态表达同一意图的可能性；

错误操作表E_op：存储实验中的错误操作描述；

状态转换表T_S：根据经验知识，保存操作的状态转换层次；

多模态属性映射表M_att：存储听觉的关键词与触觉对象的属性的映射表，用于不同模态表达同一属性，用于检测用户语音与触觉的一致性；

允许同时进行的意图表D_intentions：存储允许的同时操作的意图。

2.根据权利要求1所述的一种多模态融合实验系统，其特征是，所述实验仪器上还设置有标签插口，用于插入试剂标签，区分仪器中模拟试剂。

3.根据权利要求1所述的一种多模态融合实验系统，其特征是，所述报警模块为设置在实验仪器上的震动马达和加热片。

4.一种权利要求1-3所述多模态融合实验系统的使用方法，其特征是，具体步骤为：

1)获取用户的听觉、触觉、视觉操作信息；

2)对用户操作信息进行识别；

3)查询数据库，将识别结果组成特征队列A；

4)使用信息增益的方法进行特征选择，选择对分类影响大的特征，特征队列A降维组成特征向量；

5)特征向量乘以根据TF-IDF计算的特征权重，得到特征权重向量；

6)特征权重向量送入SVM意图分类模型进行分类，得到每类概率；

7)查询数据库和知识库，对用户意图进行分析，建立意图行为节点；

8)查询知识库，若用户的行为符合正确规范，标记为正确行为节点，系统输出实验操作效果与用户进行交互；若用户的行为不符合正确规范，标记为错误行为节点，提示用户操作错误。

5.根据权利要求4所述的多模态融合实验系统的使用方法，其特征是，意图行为节点包括意图序号、对象、操作和属性，所述建立意图行为节点的步骤为：

21)确定意图序号；

当用户的听觉操作信息中出现表示同时进行的连词时，判断意图数量N＝2，否则N＝1；

当N＝1时，SVM意图分类模型得到概率最大项即为意图，确定一个意图集合Q₁；

当N＝2时，根据状态转换表T_S去掉下层意图部分，再取根据SVM意图分类模型得到的概率最大的两个意图集合；根据允许同时进行的意图表D_intentions判断两个意图同时进行是否合理，合理则继续执行；否则提示用户重新操作，重新获取用户各个模态信息；

对于N＝2时的特征队列A，根据知识库中的多模态操作词归类表M_verb和意图行为可操作信息表I_i将特征队列A拆分为两个意图集合Q₁和Q₂；

意图集合提供意图序号；

22)确定对象；

根据触觉词表T，将意图集合Q_n中的触觉词组成集合D；根据触觉对象表T_Obj，将D转化成对象集合O₁，对象集合O₁中除标签所代表的试剂名称外，只保留出现频次最高的一个实物对象；判断O₁集合元素的个数，若个数为2，则根据意图行为可操作信息表I_i的操作对象O_bj确定主动对象A_obj和被动对象P_obj，对象感知完成；若个数为1，则确定该对象即为主动对象A_obj；

将意图集合Q_n中的对象类别组成对象集合O₂；将实验中试剂存储集合R与对象集合O₂做补集运算，将场景中的信息加入集合中；根据多模态对象映射表M_Obj，对补集操作后的对象集合O₂进行去冗余操作，得到被动对象集合P_objs；

判断P_objs集合元素个数，若为空集，则根据意图行为可操作信息表I_i的操作对象O_bj的被动对象P_obj确定是否能为空，若可以，则符合规范，即被动对象为空，若不符合规范，则判断为模态信息缺失，将知识库中意图行为可操作信息表I_i的被动对象集合PS_obj与空集做补集运算，再根据优先级规则形成优先级对象集合P_Pobj；

若P_objs集合不为空集，则判断其元素个数是否为1个，若为1个，则确定其为被动对象P_obj，若不为1个，则将对象形成优先级对象集合P_Pobj；

所述优先级规则为：

ⅰ根据此时手节点距离物体的距离，距离双手距离最近的物体加1；

ⅱ如果有两个命令，即命令数量N＝2，则另一个命令的被动对象优先级加1；

ⅲ如果有两个命令，即命令数量N＝2，则另一个命令的主动对象优先级减1；

ⅳ距离主动对象物体最近的物体加1；

集合P_objs中的元素原始优先级全为0；根据上述优先级规则，得到修改后的优先级对象集合P_Pobj，根据其优先级排序，选择优先级最高的对象即为被动对象P_obj；

将分析的主动对象A_obj和被动对象P_obj组成对象组合，根据试剂存储集合R将该对象集合转化成对象对应试剂集H_tra；再根据意图集合Q_n，将集合中的语音表达的试剂名称提取，并形成语音获取试剂名称集H_obj；将语音获取试剂名称集H_obj与对象对应试剂集H_tra做交集运算，得到集合H_com；若H_com为空集，且语音获取试剂名称集H_obj不为空集，则判断用户的语音与触觉行为不一致，提示用户可能错误；若H_com为空集，且语音获取试剂名称集H_obj也为空集，则判断为正确，保存对象信息；若H_com不为空集，也判断为正确，保存对象信息；

23)确定操作词；

用户意图表U_intention的W提供操作词；

24)确定属性词；

意图集合Q_n中的属性类组成属性集合V_s；其中，触觉部分的属性集合T_att根据多模态属性映射表M_att，得到触觉与语音对应的属性集合TV_att；听觉部分的属性集合V_att，根据意图行为可操作信息表I_i的属性值V_alue得到符合该意图的属性词V_attnew；将TV_att与V_attnew做交集运算得到交集集合A_tv，若A_tv为空集且V_attnew不为空集，则提示用户语音与触觉操作不一致；若A_tv为空集且V_attnew为空集，或A_tv为不空集，则使用该交集属性值填充意图行为节点。